来划分不同的部分?比如第一个
可以介绍基础背景和Olifant的提出?不对,先看内容结构: 第一部分:先介绍推测解码的原理,然后引入Olifant。然后第二部分是两种验证器机制下的测量结果,第三部分是KV缓存的影响,最后是结论。 不过按照规则,长文用
/
划分小节。首先,先确定结构: 首先,开头的介绍部分,先放
?不对,先处理每个自然段。不过原文是一个大的自然段?不对,原文的内容是连续的,但可以划分小节。 等下,仔细看原文的内容: 1. 第一部分:Speculative decoding accelerates...no accelerator memory. 这部分是介绍推测解码和Olifant的基本特性。 2. 第二部分:We measure throughput and energy under two verifier regimes on consumer hardware. 这部分是实验测量,分两种情况,无KV缓存和有KV缓存的情况,这部分可以用列表吗?不对,原文里的情况是两种情况,先分别描述,然后还有对比。 等下,要保留所有信息,不得增删改。那先梳理: 首先,第一个
?不对,或者先加
?不,先看,整个内容是研究介绍,可以设置
作为小节? 比如:
研究基础与Olifant模型
Speculative decoding accelerates text generation with large language models by letting a cheap draft model propose tokens that a large verifier checks in a single forward pass. We introduce Olifant, a draft model built on a memory-based classifier. It predicts the next token from a four-token window in under 0.3 ms on CPU, requiring no GPU, no backpropagation, and no accelerator memory.
然后下一个小节是实验测量与性能表现
然后里面的We measure throughput and energy under two verifier regimes on consumer hardware.
然后接下来的内容,分两种情况?不对,原文接下来是:Without a KV cache, drafting is nearly free: a domain-matched Olifant model reaches 38.1% acceptance on EU legal text, delivering 2.43x throughput and 2.51x lower energy per token than the neural verifier model alone. With a KV-cached verifier, itself a ~10x energy saver, drafting costs matter: a TinyLlama draft model halves throughput and triples energy despite high acceptance, whereas Olifant still yields 1.25x throughput and the lowest energy in the study (93 J per 100 tokens, 14x below the uncached baseline). 这部分是一个段落?或者可以用包裹,然后里面的对比部分用?不对,重要的句子用。比如关键的性能数据可以加粗? 然后下一部分是
KV缓存的影响与研究结论
We further show that KV caching decouples time from energy: verification of longer drafts raises power draw, shifting the energy-optimal draft length below the speed-optimal one.
Speculative decoding is not dead in the age of fast verifiers, provided drafting is nearly free.
不对,等下,要保留所有内容,不能增删。那先检查每个部分的信息: 首先,原文的所有内容: 1. 推测解码的原理:让廉价草稿模型提出token,大型验证器单次前向传播检查,加速大模型文本生成。 2. 提出Olifant,基于记忆分类器的草稿模型,CPU上0.3ms内从4个token窗口预测下一个token,无需GPU、反向传播、加速器内存。 3. 在消费级硬件上,在两种验证器机制下测量吞吐量和能耗。 4. 无KV缓存时,草稿几乎免费:域匹配的Olifant在欧盟法律文本上达到38.1%的接受率,比仅用神经验证器模型实现2.43倍吞吐量、每token能耗降低2.51倍。 5. 使用KV缓存验证器(本身是约10倍节能)时,草稿成本很重要:尽管接受率高,TinyLlama草稿模型使吞吐量减半、能耗增至三倍,而Olifant仍实现1.25倍吞吐量,且是研究中能耗最低的(每100个token 93J,比无缓存基线低14倍)。 6. 进一步表明KV缓存将时间与能耗解耦:验证更长的草稿会提高功耗,使能耗最优的草稿长度低于速度最优的。 7. 结论:在快速验证器时代,推测解码并未过时,前提是草稿几乎免费。 现在要排版成HTML,遵循规则。首先,划分小节,用合适,因为是技术新闻的内部分节。 首先,第一个小节:
模型基础与核心特性
,然后包裹前面介绍推测解码和Olifant的内容。 然后第二个小节:
不同验证器机制下的性能表现
,然后包裹测量的两种机制的内容,这里里面的关键数据可以加,比如性能对比的部分。 然后第三个小节:
KV缓存的影响与研究结论
,然后包裹KV缓存的影响,然后
包裹结论,结论用。 等下,但是要注意,不能增删内容,所以所有文字都要保留。现在组合起来:
模型基础与核心特性
Speculative decoding accelerates text generation with large language models by letting a cheap draft model propose tokens that a large verifier checks in a single forward pass. We introduce Olifant, a draft model built on a memory-based classifier. It predicts the next token from a four-token window in under 0.3 ms on CPU, requiring no GPU, no backpropagation, and no accelerator memory.
不同验证器机制下的性能表现
We measure throughput and energy under two verifier regimes on consumer hardware. Without a KV cache, drafting is nearly free: a domain-matched Olifant model reaches 38.1% acceptance on EU legal text, delivering 2.43x throughput and 2.51x lower energy per token than the neural verifier model alone. With a KV-cached verifier, itself a ~10x energy saver, drafting costs matter: a TinyLlama draft model halves throughput and triples energy despite high acceptance, whereas Olifant still yields 1.25x throughput and the lowest energy in the study (93 J per 100 tokens, 14x below the uncached baseline).
KV缓存的影响与研究结论
We further show that KV caching decouples time from energy: verification of longer drafts raises power draw, shifting the energy-optimal draft length below the speed-optimal one.
Speculative decoding is not dead in the age of fast verifiers, provided drafting is nearly free.
不对,等下,这样是不是符合要求?检查规则:只输出HTML片段,没有Markdown围栏,没有解释。每个自然段用,长文用