首页 > AI前沿 > Testing Processor Contracts in Speculative Decoding Engines

Testing Processor Contracts in Speculative Decoding Engines

arXiv机器学习 2026-11-03 06:36 4 阅读 查看原文
首先,用户要求我作为专业的新闻排版工程师,将提供的纯文本新闻正文排版成语义化的HTML片段。规则包括: 1. 只输出HTML片段本身,不要Markdown围栏、不要解释。 2. 每个自然段落用`

`包裹,长文用`

`/`

`划分小节。 3. 列表内容用`
  • `,引用用`
    `,代码用`
    `,重要句子可用``。
    4. 保留原文所有信息,不得增删改内容。
    5. 不要输出``/``/``等文档级标签。
    
    正文内容是关于Speculative sampling的,是一个技术描述。我需要将它分解成语义化的HTML。
    
    分析正文:
    
    - 正文是一个连续的段落,但用户说“长文用`

    `/`

    `划分小节”。所以,我需要检查正文是否适合划分为小节。 正文内容: "Speculative sampling can accelerate decoding without changing the target distribution. Its standard guarantee assumes that logits processors, which enforce constraints or modify token scores, receive the appropriate token prefix and state at each verification position. We formalize this processor-prefix contract and present BADC (branch-aware differential conformance testing). BADC combines enumerated references on tiny random models, checks of processor inputs and state, and simultaneous confidence bounds on output-event probabilities. Preregistered, source-informed experiments on selected Transformers and llama-cpp-python releases confirm two causes: processors read unverified drafts or advance state without rollback. For one pilot-selected prompt on a trained checkpoint, fresh samples give a 60.26-percentage-point lower bound on the difference in the probability of a predefined first-token event between ordinary and prompt-lookup decoding, with nominal simultaneous 95% coverage under within-arm i.i.d. sampling. Controlled comparisons establish no cause-recovery advantage of directed selection over random selection, while permutation testing detects each tested family at least as often as BADC. These findings connect processor-interface failures to observable decoding differences without establishing diagnostic superiority or workload prevalence." 这是一个单一的段落,但内容较长。我需要决定是否划分为小节。用户说“长文用`

    `/`

    `划分小节”,所以如果内容有逻辑部分,我应该划分。 分析内容结构: 1. 介绍Speculative sampling和其标准保证。 2. 介绍BADC和其组成部分。 3. 描述实验确认的两个原因。 4. 具体实验结果:一个prompt的样本结果。 5. 其他比较:controlled comparisons和permutation testing。 6. 结论。 这可以划分为几个部分: - 介绍部分:前两句。 - BADC部分:第三和第四句。 - 实验部分:第五句和第六句。 - 比较部分:第七句。 - 结论部分:第八句。 但用户说“每个自然段落用`

    `包裹”,所以我应该将整个正文视为一个自然段落?不,用户说“每个自然段落”,但这里只有一个段落。或许我需要根据内容逻辑创建小节。 规则2说:“长文用`

    `/`

    `划分小节”。所以,对于长文,我应该添加标题来划分小节。 正文虽然是一个段落,但内容有多个方面,所以我可以添加小节标题。 例如: -

    Introduction

    但用户说“不得增删改内容”,所以我不能添加新标题。规则4:保留原文所有信息,不得增删改内容。 规则4:不得增删改内容。所以,我不能添加额外的标题或文字。我只能使用HTML标签来包裹现有内容。 用户说“长文用`

    `/`

    `划分小节”,但如果原文没有标题,我可能需要基于内容推断小节,但不得增删内容,所以我不能添加新标题。 再读规则2:“长文用`

    `/`

    `划分小节”。这可能意味着如果原文有标题,我可以用,但这里没有。所以,或许对于这个正文,由于它是一个连续段落,我只用`

    `包裹整个段落。 但用户说“每个自然段落”,这里只有一个自然段落,所以可能只用一个`

    `。 然而,内容较长,有多个句子,但技术上是一个段落。 为了安全,我应该只将整个正文用`

    `包裹,因为规则说“每个自然段落用`

    `包裹”,而这里只有一个段落。 但规则2也提到“长文用`

    `/`

    `划分小节”,所以如果我认为它是长文,我需要划分小节。但划分小节可能需要添加标题,这违反了不得增删内容。 或许“划分小节”意味着将内容分成多个`

    `或使用标题,但标题必须来自原文?原文没有标题。 看用户提供的正文:它是纯文本,没有标题。所以,可能不需要添加`

    `/`

    `,因为没有小节。 规则2说:“长文用`

    `/`

    `划分小节”,但这里没有指定小节,所以我应该只使用`

    `。 此外,规则3提到列表、引用、代码等,但在这个正文中,没有明显的列表、引用或代码。所以,可能只需要处理段落。 正文中有一些重要句子,可以用``,但规则说“重要句子可用``”,所以我可以判断哪些句子重要。 但规则4:不得增删改内容,所以使用``不是改变内容,而是强调,应该可以。 现在,关于输出:只输出HTML片段本身。 所以,我需要将正文转换成HTML。 首先,整个正文是一个段落,所以用`

    `包裹。 但为了可读性,或许可以将一些句子分开,但规则说“每个自然段落”,所以保持为一个段落。 在HTML中,一个段落可以包含多个句子。 现在,检查是否有列表:没有。 引用:没有。 代码:没有。 重要句子:例如,关键发现或定义。 例如:“We formalize this processor-prefix contract and present BADC (branch-aware differential conformance testing).” 这可能是重要的。 或者:“Preregistered, source-informed experiments ... confirm two causes: ...” 但我需要决定哪些是重要的。规则说“可用”,所以是可选的。我可以选择一些。 为了简单,我可以将整个段落用`

    `包裹,并在适当位置使用``。 但用户可能期望更细致的排版。 回顾规则:对于长文,用`

    `/`

    `划分小节。既然这里没有标题,我可能不需要添加。但为了遵守,我可以将内容分成几个部分,每个部分用`

    `,但标题从哪里来? 或许基于内容逻辑,我可以添加隐含的标题,但规则4说不得增删内容,所以不能添加新文字。 因此,我应该只使用`

    `包裹整个段落,并在内部使用``来强调重要部分。 但规则2说“长文用`

    `/`

    `划分小节”,所以如果我认为它是长文,我需要做点什么。或许将句子分组,但用`

    `分开,而不是标题。 再读规则2:“每个自然段落用

    包裹,长文用

    /

    划分小节”。这可能意味着如果原文有小节标题,我用那些,但这里没有。所以,对于这个正文,它不是一个有标题的长文,所以只用一个`

    `。 为了安全,我将整个正文用`

    `包裹。 现在,关于重要句子:我可以使用``来强调关键句子。 例如: - “Speculative sampling can accelerate decoding without changing the target distribution.” 可能重要。 - “We formalize this processor-prefix contract and present BADC ...” - “Preregistered, source-informed experiments ... confirm two causes” - “These findings connect processor-interface failures ...” 但我不应该过度强调。 规则说“可用”,所以我可以选择性地使用。 现在,输出格式:只输出HTML片段。 所以,我的响应应该是一个HTML字符串,没有额外的东西。 例如:

    Speculative sampling can accelerate decoding without changing the target distribution. Its standard guarantee assumes that logits processors, which enforce constraints or