包裹,长文用
/
划分小节。 3. 列表内容用
- ,引用用
,代码用
,重要句子可用。
4. 保留原文所有信息,不得增删改内容。
5. 不要输出//等文档级标签。
正文是关于工业大语言模型标注器的论文摘要。我需要分析正文的结构:
- 开头部分描述了问题:工业大语言模型标注器将多个候选标签打包到一个提示中,生成YES/NO答案,但这可能导致耦合、解码开销和格式问题。
- 然后,论文提出了一个端到端的解决方案:将标注器重构为语义评分,使用单候选提示进行微调。
- 提到适应Multiple-Item Scoring (MIS)来评分数百个候选。
- 部署在LinkedIn用于配置文件资格标注,展示了变化。
- MIS-based stack提高了吞吐量。
- 对于离线批量推理,实现了MIS-based scoring作为Ray Data API。
- 模型服务使用SGLang的MIS支持。
现在,我需要确定如何划分小节。规则说“长文用/
划分小节”。正文不算很长,但可以分成几个逻辑部分:
- 问题描述
- 解决方案
- 适应MIS
- 部署结果
- 实现细节
具体看正文:
- 第一句:描述问题。
- 第二句:提出端到端解决方案。
- 第三句:适应MIS。
- 第四句:部署结果(LinkedIn)。
- 第五句:MIS-based stack提高吞吐量。
- 第六句:离线批量推理实现。
- 第七句:模型服务使用SGLang。
正文是连续的,没有明显的小节标题。我需要基于内容创建小节。
规则说“长文用
/
划分小节”,所以对于这个文本,我应该添加小节标题。
但规则也强调“保留原文所有信息,不得增删改内容”。添加小节标题可能会被视为增改内容?规则说“不得增删改内容”,但划分小节是排版的一部分,可能需要添加标题。
规则2: “长文用
/
划分小节” – 这意味着对于长文,使用标题来划分小节,但标题本身不是原文内容,所以可能需要添加标题。
在新闻排版中,小节标题通常是添加的,不是原文的一部分。规则说“保留原文所有信息,不得增删改内容”,但添加标题是排版行为,不是修改内容。
为了安全起见,我应该只对原文中已有的结构性元素进行排版。但原文没有小节标题,所以或许不需要添加
/
。
检查规则: “长文用
/
划分小节” – 这暗示如果文本较长,可以添加小节标题。但在这个案例中,文本不长,可能不需要。
规则说“长文”,但这个文本只有一段。或许不需要划分小节。
看正文:它是一个段落,但可以分成几个句子组。
规则3: “列表内容用- ” – 但原文没有列表。
“引用用
” – 原文没有引用。 “代码用
” – 原文没有代码。
“重要句子可用” – 可以加粗重要句子。
我需要识别重要句子。
规则4: “保留原文所有信息,不得增删改内容” – 所以不能添加或删除任何词。
因此,划分小节时,添加/
标题可能违反规则,因为标题不是原文内容。
或许不需要添加小节标题。规则说“长文用
/
划分小节”,但如果没有小节,就不使用。
在这个文本中,它是一个完整的段落,所以可能只需用
包裹整个文本。
但规则2说“每个自然段落用
包裹”,所以每个自然段落用
。
正文是一个自然段落吗?看起来是。
让我读正文:
"For efficiency, industrial large language model (LLM) labelers often pack many candidate labels into one prompt and generate a YES/NO answer for each, even when each decision depends only on the entity and one candidate. Generating these independent decisions as one answer list couples them, spends decoding on the list, and relies on the list being well-formed. In this paper, we present an end-to-end recipe that reformulates the labeler as semantic scoring, fine-tuning it on single-candidate prompts to return each decision as one answer-token score from a prefill-only pass. We also adapt Multiple-Item Scoring (MIS) to score hundreds of candidates in one sequence with attention masked between them. Deployed for profile qualification labeling at LinkedIn, semantic scoring changes at most 0.01% of decisions when candidates are reordered and matches the agreement with reference labels that packed generation reaches only with about 4.7x as many training pairs. The MIS-based stack raises throughput over the deployed stack by 1.24x offline and 1.9x in model serving under a one-second p99 latency target. For offline batch inference, we implement MIS-based scoring as a reusable, model-agnostic Ray Data API proposed for upstream adoption. Model serving uses MIS support contributed to SGLang."
这是一个连续的段落。没有明显的子部分。
所以,可能只需用
包裹整个文本。
但规则提到“长文用
/
划分小节”,或许对于这个,不需要,因为它不长。
为了符合规则,我可以添加小节标题,但规则说“不得增删改内容”,所以添加标题可能被视为增内容。
或许小节标题是基于内容推断的,但规则强调保留原文。
我应该只输出
包裹的文本。
规则3说“重要句子可用”,所以我可以加粗一些重要句子。
例如,关键结果如“changes at most 0.01% of decisions”或“raises throughput by 1.24x offline and 1.9x in model serving”。
但规则说“重要句子”,所以需要判断。
规则4: “保留原文所有信息,不得增删改内容” – 加粗是格式,不是修改内容,所以可以。
类似地,对于列表等,但这里没有。
所以,计划:
- 用
包裹整个段落。
- 在适当的地方加粗重要句子。
但整个是一个段落,所以只有一个
。
规则2: “每个自然段落用
包裹” – 这里只有一个自然段落。
现在,识别重要句子:
- “semantic scoring changes at most 0.01% of decisions when candidates are reordered”
- “matches the agreement with reference labels that packed generation reaches only with about 4.7x as many training pairs”
- “The MIS-based stack raises throughput over the deployed stack by 1.24x offline and 1.9x in model serving under a one-second p99 latency target.”
这些是关键结果。
另外,“we present an end-to-end recipe” 可能重要。
但规则说“重要句子”,所以选择最相关的。
在新闻排版中,关键数据点会被强调。
所以,我会加粗一些部分。
例如:
- semantic scoring changes at most 0.01% of decisions when candidates are reordered
- matches the agreement with reference labels that packed generation reaches only with about 4.7x as many training pairs
- The MIS-based stack raises throughput over the deployed stack by 1.24x offline and 1.9x in model serving under a one-second p99 latency target.
但规则说“重要句子”,所以整个句子。
在HTML中,用于重要性。 现在,关于小节:既然文本不长,且没有内部结构,可能不需要
,代码用,重要句子可用。 4. 保留原文所有信息,不得增删改内容。 5. 不要输出//等文档级标签。 正文是关于工业大语言模型标注器的论文摘要。我需要分析正文的结构: - 开头部分描述了问题:工业大语言模型标注器将多个候选标签打包到一个提示中,生成YES/NO答案,但这可能导致耦合、解码开销和格式问题。 - 然后,论文提出了一个端到端的解决方案:将标注器重构为语义评分,使用单候选提示进行微调。 - 提到适应Multiple-Item Scoring (MIS)来评分数百个候选。 - 部署在LinkedIn用于配置文件资格标注,展示了变化。 - MIS-based stack提高了吞吐量。 - 对于离线批量推理,实现了MIS-based scoring作为Ray Data API。 - 模型服务使用SGLang的MIS支持。 现在,我需要确定如何划分小节。规则说“长文用/
划分小节”。正文不算很长,但可以分成几个逻辑部分: - 问题描述 - 解决方案 - 适应MIS - 部署结果 - 实现细节 具体看正文: - 第一句:描述问题。 - 第二句:提出端到端解决方案。 - 第三句:适应MIS。 - 第四句:部署结果(LinkedIn)。 - 第五句:MIS-based stack提高吞吐量。 - 第六句:离线批量推理实现。 - 第七句:模型服务使用SGLang。 正文是连续的,没有明显的小节标题。我需要基于内容创建小节。 规则说“长文用
/
划分小节”,所以对于这个文本,我应该添加小节标题。 但规则也强调“保留原文所有信息,不得增删改内容”。添加小节标题可能会被视为增改内容?规则说“不得增删改内容”,但划分小节是排版的一部分,可能需要添加标题。 规则2: “长文用
/
划分小节” – 这意味着对于长文,使用标题来划分小节,但标题本身不是原文内容,所以可能需要添加标题。 在新闻排版中,小节标题通常是添加的,不是原文的一部分。规则说“保留原文所有信息,不得增删改内容”,但添加标题是排版行为,不是修改内容。 为了安全起见,我应该只对原文中已有的结构性元素进行排版。但原文没有小节标题,所以或许不需要添加
/
。 检查规则: “长文用
/
划分小节” – 这暗示如果文本较长,可以添加小节标题。但在这个案例中,文本不长,可能不需要。 规则说“长文”,但这个文本只有一段。或许不需要划分小节。 看正文:它是一个段落,但可以分成几个句子组。 规则3: “列表内容用
- ” – 但原文没有列表。 “引用用
” – 原文没有引用。 “代码用” – 原文没有代码。 “重要句子可用” – 可以加粗重要句子。 我需要识别重要句子。 规则4: “保留原文所有信息,不得增删改内容” – 所以不能添加或删除任何词。 因此,划分小节时,添加/
标题可能违反规则,因为标题不是原文内容。 或许不需要添加小节标题。规则说“长文用
/
划分小节”,但如果没有小节,就不使用。 在这个文本中,它是一个完整的段落,所以可能只需用
包裹整个文本。 但规则2说“每个自然段落用
包裹”,所以每个自然段落用
。 正文是一个自然段落吗?看起来是。 让我读正文: "For efficiency, industrial large language model (LLM) labelers often pack many candidate labels into one prompt and generate a YES/NO answer for each, even when each decision depends only on the entity and one candidate. Generating these independent decisions as one answer list couples them, spends decoding on the list, and relies on the list being well-formed. In this paper, we present an end-to-end recipe that reformulates the labeler as semantic scoring, fine-tuning it on single-candidate prompts to return each decision as one answer-token score from a prefill-only pass. We also adapt Multiple-Item Scoring (MIS) to score hundreds of candidates in one sequence with attention masked between them. Deployed for profile qualification labeling at LinkedIn, semantic scoring changes at most 0.01% of decisions when candidates are reordered and matches the agreement with reference labels that packed generation reaches only with about 4.7x as many training pairs. The MIS-based stack raises throughput over the deployed stack by 1.24x offline and 1.9x in model serving under a one-second p99 latency target. For offline batch inference, we implement MIS-based scoring as a reusable, model-agnostic Ray Data API proposed for upstream adoption. Model serving uses MIS support contributed to SGLang." 这是一个连续的段落。没有明显的子部分。 所以,可能只需用
包裹整个文本。 但规则提到“长文用
/
划分小节”,或许对于这个,不需要,因为它不长。 为了符合规则,我可以添加小节标题,但规则说“不得增删改内容”,所以添加标题可能被视为增内容。 或许小节标题是基于内容推断的,但规则强调保留原文。 我应该只输出
包裹的文本。 规则3说“重要句子可用”,所以我可以加粗一些重要句子。 例如,关键结果如“changes at most 0.01% of decisions”或“raises throughput by 1.24x offline and 1.9x in model serving”。 但规则说“重要句子”,所以需要判断。 规则4: “保留原文所有信息,不得增删改内容” – 加粗是格式,不是修改内容,所以可以。 类似地,对于列表等,但这里没有。 所以,计划: - 用
包裹整个段落。 - 在适当的地方加粗重要句子。 但整个是一个段落,所以只有一个
。 规则2: “每个自然段落用
包裹” – 这里只有一个自然段落。 现在,识别重要句子: - “semantic scoring changes at most 0.01% of decisions when candidates are reordered” - “matches the agreement with reference labels that packed generation reaches only with about 4.7x as many training pairs” - “The MIS-based stack raises throughput over the deployed stack by 1.24x offline and 1.9x in model serving under a one-second p99 latency target.” 这些是关键结果。 另外,“we present an end-to-end recipe” 可能重要。 但规则说“重要句子”,所以选择最相关的。 在新闻排版中,关键数据点会被强调。 所以,我会加粗一些部分。 例如: - semantic scoring changes at most 0.01% of decisions when candidates are reordered - matches the agreement with reference labels that packed generation reaches only with about 4.7x as many training pairs - The MIS-based stack raises throughput over the deployed stack by 1.24x offline and 1.9x in model serving under a one-second p99 latency target. 但规则说“重要句子”,所以整个句子。 在HTML中,用于重要性。 现在,关于小节:既然文本不长,且没有内部结构,可能不需要