`包裹，长文用`
`/`
`划分小节。 3. 列表内容用`
- `，引用用`
`，代码用`
`，重要句子可用``。
4. 保留原文所有信息，不得增删改内容。
5. 不要输出``/``/``等文档级标签。
正文内容是一段英文文本，看起来像是一篇学术论文的摘要或引言。内容是关于视觉语言模型（VLMs）和视觉token剪枝的。
原文：
"Large vision-language models (VLMs), which process both visual inputs and text queries, incur high inference costs due to the large number of visual tokens, making visual token pruning a natural approach for improving efficiency. Recent work has leveraged query information to guide token selection, often through heuristics derived from attention patterns or token dynamics. However, these approaches do not explicitly exploit the underlying structure of query-vision interactions. We address this gap by observing that the query-vision interaction matrix, naturally induced by the query and key projections already present in transformer attention, is effectively low-rank, with a small number of dominant latent interaction modes capturing query-relevant semantics. Motivated by this observation, we propose Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure. Extensive experiments on both image and video understanding benchmarks show that QViD consistently improves performance under matched token budgets, with the largest gains appearing under aggressive compression regimes."
我需要分析这个文本的结构：
- 它似乎是一个完整的段落，没有明显的列表、引用或代码。
- 但用户说“长文用``/`
`划分小节”，所以我需要判断是否有小节。
- 原文是一段连续的文本，没有分节。所以，可能不需要`
`/`
`，除非我能合理划分。
- 规则说“长文用`
`/`
`划分小节”，但这里只有一段，所以可能不需要标题。
- 我应该检查内容是否适合划分小节。
内容分解：
1. 介绍VLMs的高推理成本和token剪枝。
2. 最近工作利用查询信息引导token选择。
3. 但这些方法没有显式利用查询-视觉交互结构。
4. 作者观察到查询-视觉交互矩阵是低秩的。
5. 提出QViD方法。
6. 实验结果。
虽然可以划分，但原文没有明确的小节标题。规则是“保留原文所有信息，不得增删改内容”，所以我不能添加新标题。我应该只基于原文结构。
原文是单一段落，所以可能整个作为一个`
`包裹。
但用户说“每个自然段落用`
`包裹”，这里只有一个自然段落。
检查是否有列表、引用、代码：
- 没有列表：没有`
- `。
- 没有引用：没有`
`。 - 没有代码：没有`
`。
- 重要句子：可能有些句子重要，可以用``。规则说“重要句子可用``”，所以如果我认为某些句子关键，可以加粗。
例如，最后一句“Extensive experiments...”可能重要。
但规则是“不得增删改内容”，所以我不能改变内容，只能用HTML标签包裹。加粗是强调，不是改变内容。
我应该谨慎，只在明显重要的地方使用``。
现在，关于小节：既然原文没有分节，我不应该强行划分。规则说“长文用``/`
`划分小节”，但这里不长，是一段。
用户说“长文”，但这段文字不长，所以可能不需要标题。
为了安全，我可以只用一个`
`包裹整个段落。 但用户说“每个自然段落用`
`包裹”，这里只有一个段落。 或许我可以识别出逻辑段落，但原文是连贯的。 再看规则："保留原文所有信息，不得增删改内容"，所以如果我添加小节标题，就是增改内容，不允许。 因此，我应该只输出一个`
`包含整个文本。 但用户说“长文用`
`，代码用``，重要句子可用``。 4. 保留原文所有信息，不得增删改内容。 5. 不要输出``/``/``等文档级标签。 正文内容是一段英文文本，看起来像是一篇学术论文的摘要或引言。内容是关于视觉语言模型（VLMs）和视觉token剪枝的。 原文： "Large vision-language models (VLMs), which process both visual inputs and text queries, incur high inference costs due to the large number of visual tokens, making visual token pruning a natural approach for improving efficiency. Recent work has leveraged query information to guide token selection, often through heuristics derived from attention patterns or token dynamics. However, these approaches do not explicitly exploit the underlying structure of query-vision interactions. We address this gap by observing that the query-vision interaction matrix, naturally induced by the query and key projections already present in transformer attention, is effectively low-rank, with a small number of dominant latent interaction modes capturing query-relevant semantics. Motivated by this observation, we propose Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure. Extensive experiments on both image and video understanding benchmarks show that QViD consistently improves performance under matched token budgets, with the largest gains appearing under aggressive compression regimes." 我需要分析这个文本的结构： - 它似乎是一个完整的段落，没有明显的列表、引用或代码。 - 但用户说“长文用``/`
`划分小节”，所以我需要判断是否有小节。 - 原文是一段连续的文本，没有分节。所以，可能不需要`
`/`
`，除非我能合理划分。 - 规则说“长文用`
`/`
`划分小节”，但这里只有一段，所以可能不需要标题。 - 我应该检查内容是否适合划分小节。 内容分解： 1. 介绍VLMs的高推理成本和token剪枝。 2. 最近工作利用查询信息引导token选择。 3. 但这些方法没有显式利用查询-视觉交互结构。 4. 作者观察到查询-视觉交互矩阵是低秩的。 5. 提出QViD方法。 6. 实验结果。 虽然可以划分，但原文没有明确的小节标题。规则是“保留原文所有信息，不得增删改内容”，所以我不能添加新标题。我应该只基于原文结构。 原文是单一段落，所以可能整个作为一个`
`包裹。 但用户说“每个自然段落用`
`包裹”，这里只有一个自然段落。 检查是否有列表、引用、代码： - 没有列表：没有`
- `。 - 没有引用：没有`
`。 - 没有代码：没有``。 - 重要句子：可能有些句子重要，可以用``。规则说“重要句子可用``”，所以如果我认为某些句子关键，可以加粗。 例如，最后一句“Extensive experiments...”可能重要。 但规则是“不得增删改内容”，所以我不能改变内容，只能用HTML标签包裹。加粗是强调，不是改变内容。 我应该谨慎，只在明显重要的地方使用``。 现在，关于小节：既然原文没有分节，我不应该强行划分。规则说“长文用``/`
`划分小节”，但这里不长，是一段。 用户说“长文”，但这段文字不长，所以可能不需要标题。 为了安全，我可以只用一个`
`包裹整个段落。 但用户说“每个自然段落用`
`包裹”，这里只有一个段落。 或许我可以识别出逻辑段落，但原文是连贯的。 再看规则："保留原文所有信息，不得增删改内容"，所以如果我添加小节标题，就是增改内容，不允许。 因此，我应该只输出一个`
`包含整个文本。 但用户说“长文用`
`/`
`划分小节”，可能暗示如果长的话要划分，但这里不长。 我可以检查字数：大约150词，不算很长。 在学术写作中，摘要通常是单一段落。 所以，我认为输出一个`
`即可。 现在，关于重要句子：规则说“重要句子可用``”。我需要判断哪些句子重要。 例如： - "We propose Query-Vision Decomposition (QViD)" 是关键点。 - "Extensive experiments... show that QViD consistently improves performance" 是结果。 但用户没有指定哪些是重要的，所以我应该只加粗最核心的。 为了保守，我可以加粗方法名称或关键发现。 但规则是“重要句子”，不是单词。 或许加粗整个句子。 例如： - "We propose Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure." 这个句子重要。 - "Extensive experiments on both image and video understanding benchmarks show that QViD consistently improves performance under matched token budgets, with the largest gains appearing under aggressive compression regimes." 这个也重要。 但规则是“句子”，所以可以加粗。 然而，规则说“不得增删改内容”，加粗是格式，不是内容改变。 在HTML中，``表示强调，是语义化的。 我应该使用。 但为了简单，如果不确定，可以不加，因为规则是“可用”，不是必须。 用户说“重要句子可用``”，意思是如果重要，可以用。 在这个上下文，作为新闻排版，可能关键句子需要强调。 但既然是学术文本，可能不需要。 用户是“专业的新闻排版工程师”，所以应该考虑新闻风格。 在新闻中，关键句子可能加粗。 但这里内容是学术性的。 或许在新闻中，重要声明加粗。 我会加粗方法名称和结果。 具体： - "We propose Query-Vision Decomposition (QViD)" 这个句子。 - 最后一句。 但句子很长。 规则是“句子”，所以整个句子加粗。 现在，关于HTML结构： - 整个文本作为一个`
`。 - 如果有重要句子，用``包裹。 没有列表、引用、代码，所以不需要其他标签。 输出必须是纯HTML片段。 所以，输出应该像这样：
Large vision-language models (VLMs), which process both visual inputs and text queries, incur high inference costs due to the large number of visual tokens, making visual token pruning a natural approach for improving efficiency. Recent work has leveraged query information to guide token selection, often through heuristics derived from attention patterns or token dynamics. However, these approaches do not explicitly exploit the underlying structure of query-vision interactions. We address this gap by observing that the query-vision interaction matrix, naturally induced by the query and key projections already present in transformer attention, is effectively low-rank, with a small number of dominant latent interaction modes capturing query-relevant semantics. Motivated by this observation, we propose Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure. Extensive experiments on both image and video understanding benchmarks show that QViD consistently improves performance under matched token budgets, with the largest gains appearing under aggressive compression regimes.
我加粗了两个关键句子。 但第一个加粗是"Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure"，但这是句子的一部分。 原文是："Motivated by this observation, we propose Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure." 所以，我可以加