包裹，长文用
/
划分小节。先看正文的结构，第一段是背景和问题引入，然后从“This paper introduces LazyFlash...”开始是方法介绍，之后分forward、backward的设计，实现，实验。可能需要把方法部分用
划分小节吗？看原文，“This paper introduces LazyFlash...”是总起方法，然后“LazyFlash keeps the forward pass exactly dense...”讲forward的特点，“For the backward pass...”讲backward的设计，“A gradient-mass budget...”是backward的补充设计，“These designs are implemented...”是实现，“Experiments on long-context...”是实验结果。 所以可能的结构：第一段作为背景介绍，用
；然后用
引出方法概述，即“This paper introduces LazyFlash...”这段；接着
讲forward pass的设计，即“LazyFlash keeps the forward pass exactly dense...”这段；再
讲backward pass的设计，包括“For the backward pass...”和“A gradient-mass budget...”这两段？或者“For the backward pass...”和“A gradient-mass budget...”是同一小节下的不同点？不过原文中这两段是连续的，都是关于backward的设计，可能需要合并到一个
下的两个
？或者看原文的连贯性，“For the backward pass...”是梯度感知块稀疏化设计，“A gradient-mass budget...”是梯度预算和重要性采样，属于同一设计的两个部分，所以可以放在同一个
下的两个
。然后“These designs are implemented...”是实现细节，用
；“Experiments on long-context...”是实验结果，用
。 然后检查是否有重要句子需要用，比如“This paper introduces LazyFlash, a forward-dense, backward-sparse attention method built on the observation that attention training is dominated by the backward pass.”这句话是核心方法介绍，可能需要加粗？或者原文中的“up to 5.7x attention-backward speedup”和“1.7x end-to-end training speedup”是实验结果的重要数据，是否需要加粗？规则说重要句子可用，所以这些关键信息可以加。 现在开始构建HTML： 第一段背景：
As large language models (LLMs) process increasingly long sequences... leaving dense attention widely used in practice.
然后用
引出方法：“This paper introduces LazyFlash... backward pass.
”？不，
是小节标题，所以应该是
LazyFlash方法概述
？不对，规则说不能增删改内容，所以标题不能用自己的话，必须用原文的内容作为小节标题？哦，规则4说保留原文所有信息，不得增删改内容，所以小节标题应该从原文中提取，或者原文的内容作为小节的开头？不对，原文中的段落是连续的，可能需要把原文的段落划分到不同的小节里，比如： 原文段落1：背景和问题 →
原文段落2：This paper introduces LazyFlash... →
（作为小节标题？但原文这是一句话，不是标题，所以可能需要把这句话所在的段落作为小节的开头，用
包含这句话？或者用
作为小节标题，内容是原文的这句话？） 不对，规则2说“长文用
/
划分小节”，所以需要根据原文的结构划分小节，比如： 原文结构： 1. 背景：LLM长序列的注意力瓶颈，稀疏注意力的问题 → 段落1 2. 方法引入：This paper introduces LazyFlash... → 段落2 3. Forward pass设计：LazyFlash keeps the forward pass exactly dense... → 段落3 4. Backward pass设计：For the backward pass... → 段落4；A gradient-mass budget... → 段落5 5. 实现细节：These designs are implemented... → 段落6 6. 实验结果：Experiments on long-context... → 段落7 所以划分小节： - 背景与问题：段落1 →
- 方法概述：段落2 →
- Forward Pass设计：段落3 →
- Backward Pass设计：段落4和5 →
- 实现细节：段落6 →
- 实验结果：段落7 →
但要注意，小节标题不能用自己的话，必须用原文的内容吗？规则4说不得增删改内容，所以标题应该从原文中提取，或者原文的段落内容作为小节的内容，标题可以是原文中的关键句子？比如“This paper introduces LazyFlash...”作为
的内容，因为它是方法的引入句。 然后检查重要句子：比如“This paper introduces LazyFlash, a forward-dense, backward-sparse attention method built on the observation that attention training is dominated by the backward pass.”这句话是核心，用？还有实验结果中的“up to 5.7x attention-backward speedup over FlashAttention and 1.7x end-to-end training speedup”用。 现在开始写：
As large language models (LLMs) process increasingly long sequences, attention becomes a major computational bottleneck. Sparse attention mostly targets inference, yet many methods still train densely or cannot support sparse training, and their added complexity makes sparsity hard to turn into wall-clock speedups, leaving dense attention widely used in practice.
This paper introduces LazyFlash, a forward-dense, backward-sparse attention method built on the observation that attention training is dominated by the backward pass.
LazyFlash keeps the forward pass exactly dense, so the trained model remains a standard dense model that existing systems such as vLLM can serve without any change.
For the backward pass, LazyFlash proposes a gradient-aware block sparsification design that ranks query blocks by their attention-output gradient norms and skips those contributing negligibly to parameter updates, turning the dense backward into a block-sparse one.
A gradient-mass budget adapts the amount of skipped computation to each head and training step, while importance sampling preserves the dense gradient in expectation.
These designs are implemented inside the tiled FlashAttention backward kernel, where skipped blocks are never loaded or computed, translating gradient sparsity into real wall-clock acceleration.
Experiments on long-context text and speech LLMs show that LazyFlash maintains downstream performance while achieving up to 5.7x attention-backward speedup over FlashAttention and 1.7x end-to-end training speedup.
不对，因为
通常是用来做小节标题的，而原文的段落3是“LazyFlash keeps the forward pass exactly dense...”这句话，应该用
包裹，而不是
，因为它是小节的内容，而不是标题。哦，可能我混淆了标题和内容。正确的做法是，用
作为小节标题，下面用
包裹内容。比如： 原文段落1：背景 →
方法引入
→ 但原文中没有“方法引入”这个标题，所以不能用自己的话，必须用原文的内容作为标题吗？规则说不能增删改内容，所以小节标题应该是原文中的某个句子或短语，或者不需要标题，直接用？但规则2说长文用
/
划分小节，所以需要划分，但标题必须来自原文。 比如，原文中“This paper introduces LazyFlash...”这句话是方法的引入，可以作为
的内容，因为它是该小节的核心句。然后下面的“LazyFlash keeps the forward pass exactly dense...”作为
的小节标题，内容用
？不，原文的这句话是内容，不是标题，所以应该用
包裹，而