首页 > AI前沿 > Towards Green Text Generation: Memory-Based Speculative Decoding

Towards Green Text Generation: Memory-Based Speculative Decoding

arXiv自然语言 2026-11-12 20:32 7 阅读 查看原文
用户现在需要把给定的新闻正文排版成语义化的HTML片段,要遵循那几个规则。首先,先看正文内容,是介绍Olifant这个草稿模型用于推测解码的内容。首先,整个正文是一个大的段落?不对,先理清楚结构。首先开头第一部分是介绍推测解码和Olifant的引入,然后后面是不同验证器机制下的测量结果,还有后续的发现。 首先,有没有需要划分的小节?比如可以用

来划分不同的部分?比如第一个

可以介绍基础背景和Olifant的提出?不对,先看内容结构: 第一部分:先介绍推测解码的原理,然后引入Olifant。然后第二部分是两种验证器机制下的测量结果,第三部分是KV缓存的影响,最后是结论。 不过按照规则,长文用

/

划分小节。首先,先确定结构: 首先,开头的介绍部分,先放

?不对,先处理每个自然段。不过原文是一个大的自然段?不对,原文的内容是连续的,但可以划分小节。 等下,仔细看原文的内容: 1. 第一部分:Speculative decoding accelerates...no accelerator memory. 这部分是介绍推测解码和Olifant的基本特性。 2. 第二部分:We measure throughput and energy under two verifier regimes on consumer hardware. 这部分是实验测量,分两种情况,无KV缓存和有KV缓存的情况,这部分可以用列表吗?不对,原文里的情况是两种情况,先分别描述,然后还有对比。 等下,要保留所有信息,不得增删改。那先梳理: 首先,第一个

?不对,或者先加

?不,先看,整个内容是研究介绍,可以设置

作为小节? 比如:

研究基础与Olifant模型

Speculative decoding accelerates text generation with large language models by letting a cheap draft model propose tokens that a large verifier checks in a single forward pass. We introduce Olifant, a draft model built on a memory-based classifier. It predicts the next token from a four-token window in under 0.3 ms on CPU, requiring no GPU, no backpropagation, and no accelerator memory.

然后下一个小节是

实验测量与性能表现

然后里面的

We measure throughput and energy under two verifier regimes on consumer hardware.

然后接下来的内容,分两种情况?不对,原文接下来是:Without a KV cache, drafting is nearly free: a domain-matched Olifant model reaches 38.1% acceptance on EU legal text, delivering 2.43x throughput and 2.51x lower energy per token than the neural verifier model alone. With a KV-cached verifier, itself a ~10x energy saver, drafting costs matter: a TinyLlama draft model halves throughput and triples energy despite high acceptance, whereas Olifant still yields 1.25x throughput and the lowest energy in the study (93 J per 100 tokens, 14x below the uncached baseline). 这部分是一个段落?或者可以用

包裹,然后里面的对比部分用?不对,重要的句子用。比如关键的性能数据可以加粗? 然后下一部分是

KV缓存的影响与研究结论

We further show that KV caching decouples time from energy: verification of longer drafts raises power draw, shifting the energy-optimal draft length below the speed-optimal one.

Speculative decoding is not dead in the age of fast verifiers, provided drafting is nearly free.

不对,等下,要保留所有内容,不能增删。那先检查每个部分的信息: 首先,原文的所有内容: 1. 推测解码的原理:让廉价草稿模型提出token,大型验证器单次前向传播检查,加速大模型文本生成。 2. 提出Olifant,基于记忆分类器的草稿模型,CPU上0.3ms内从4个token窗口预测下一个token,无需GPU、反向传播、加速器内存。 3. 在消费级硬件上,在两种验证器机制下测量吞吐量和能耗。 4. 无KV缓存时,草稿几乎免费:域匹配的Olifant在欧盟法律文本上达到38.1%的接受率,比仅用神经验证器模型实现2.43倍吞吐量、每token能耗降低2.51倍。 5. 使用KV缓存验证器(本身是约10倍节能)时,草稿成本很重要:尽管接受率高,TinyLlama草稿模型使吞吐量减半、能耗增至三倍,而Olifant仍实现1.25倍吞吐量,且是研究中能耗最低的(每100个token 93J,比无缓存基线低14倍)。 6. 进一步表明KV缓存将时间与能耗解耦:验证更长的草稿会提高功耗,使能耗最优的草稿长度低于速度最优的。 7. 结论:在快速验证器时代,推测解码并未过时,前提是草稿几乎免费。 现在要排版成HTML,遵循规则。首先,划分小节,用

合适,因为是技术新闻的内部分节。 首先,第一个小节:

模型基础与核心特性

,然后

包裹前面介绍推测解码和Olifant的内容。 然后第二个小节:

不同验证器机制下的性能表现

,然后

包裹测量的两种机制的内容,这里里面的关键数据可以加,比如性能对比的部分。 然后第三个小节:

KV缓存的影响与研究结论

,然后

包裹KV缓存的影响,然后

包裹结论,结论用。 等下,但是要注意,不能增删内容,所以所有文字都要保留。现在组合起来:

模型基础与核心特性

Speculative decoding accelerates text generation with large language models by letting a cheap draft model propose tokens that a large verifier checks in a single forward pass. We introduce Olifant, a draft model built on a memory-based classifier. It predicts the next token from a four-token window in under 0.3 ms on CPU, requiring no GPU, no backpropagation, and no accelerator memory.

不同验证器机制下的性能表现

We measure throughput and energy under two verifier regimes on consumer hardware. Without a KV cache, drafting is nearly free: a domain-matched Olifant model reaches 38.1% acceptance on EU legal text, delivering 2.43x throughput and 2.51x lower energy per token than the neural verifier model alone. With a KV-cached verifier, itself a ~10x energy saver, drafting costs matter: a TinyLlama draft model halves throughput and triples energy despite high acceptance, whereas Olifant still yields 1.25x throughput and the lowest energy in the study (93 J per 100 tokens, 14x below the uncached baseline).

KV缓存的影响与研究结论

We further show that KV caching decouples time from energy: verification of longer drafts raises power draw, shifting the energy-optimal draft length below the speed-optimal one.

Speculative decoding is not dead in the age of fast verifiers, provided drafting is nearly free.

不对,等下,这样是不是符合要求?检查规则:只输出HTML片段,没有Markdown围栏,没有解释。每个自然段用

,长文用

划分小节。重要句子用,保留所有信息,没有增删改。对吗? 等下,原文的内容有没有遗漏?检查: 第一部分的内容都在第一个

里,没错。 第二部分的测量,两种机制的内容都在第二个

里,加粗的是关键数据,没错。 第三部分的KV缓存的影响和结论,分别在两个

里,结论加粗,没错。 有没有文档级标签?没有,都是片段。有没有列表或者引用、代码?这里不需要,所以没问题。 等下,再看,有没有哪里不对?比如,小节的标题是不是合适?规则说长文用

/

划分小节,这里用

是合适的。或者用

?其实都可以,不过技术新闻的小节用

也可以,不过如果整个片段的层级,用

也可以?不过没关系,只要是小节标题就行。 不过再检查,