首页 > AI前沿 > AFVE-Bench: Measuring Abandoned-Frame Verbalization Errors in Multi-Turn LLM Revision

AFVE-Bench: Measuring Abandoned-Frame Verbalization Errors in Multi-Turn LLM Revision

arXiv自然语言 2026-11-07 15:17 18 阅读 查看原文
首先,任务是作为专业的新闻排版工程师,将给定的纯文本新闻正文排版成语义化的HTML片段。规则如下: 1. 只输出HTML片段本身,不要Markdown围栏、不要解释。 2. 每个自然段落用`

`包裹,长文用`

`/`

`划分小节。 3. 列表内容用`
  • `,引用用`
    `,代码用`
    `,重要句子可用``。
    4. 保留原文所有信息,不得增删改内容。
    5. 不要输出``/``/``等文档级标签。
    
    正文内容是关于一个名为AFVE-Bench的评估,涉及多轮修订中的错误类型。我需要将这个文本分解成自然段落,并用HTML标签适当包裹。
    
    分析正文:
    
    - 第一句:"Multi-turn revision often asks a model to replace an earlier organizing frame while preserving still-valid facts and artifact requirements." 这似乎是一个介绍性句子。
    
    - 接着:"Existing instruction-following evaluations mainly assess the latest target and may therefore score an artifact as successful even when it adopts the new frame but exposes the superseded one." 这是另一个句子,可能属于同一个段落。
    
    - 然后:"We call this failure an abandoned-frame verbalization error (AFVE)." 这定义了AFVE。
    
    - "AFVE-Bench evaluates silent frame replacement in English and Chinese using 192 matched four-turn dialogues across eight writing domains." 介绍AFVE-Bench。
    
    - "Each seed has zero, one, or two pre-target user requests to generate under the source frame." 细节。
    
    - "AFVE eligibility depends on the user-request history and applies to the one- and two-request conditions; the zero-request condition serves as a frame-bearing baseline." 解释条件。
    
    - "Eleven model configurations yielded 4,224 expected post-target response units." 方法论。
    
    - "Two annotators independently scored 4,204 scorable responses for target adoption, source-frame verbalization, and direct usability; model and condition metadata were hidden, and disagreements were adjudicated." 评估过程。
    
    - "AFVE occurs in 25.54% (715/2,799) of history-conditioned responses." 结果。
    
    - "Of 2,388 target-passing history-conditioned responses, 472 (19.77%) still expose the abandoned source frame, most often through contrastive framing (423/472)." 更多结果。
    
    - "For these standalone revision tasks, target adoption does not ensure source-frame silence." 结论。
    
    我需要识别自然段落。看起来整个文本可以分成几个逻辑部分:
    
    1. 介绍问题:多轮修订的挑战和现有评估的局限性。
    
    2. 定义AFVE。
    
    3. 描述AFVE-Bench的设置。
    
    4. 方法论细节。
    
    5. 结果。
    
    6. 结论。
    
    但根据规则,长文用`

    `/`

    `划分小节。我应该将文本组织成小节。 回顾规则:"长文用

    /

    划分小节"。所以,如果文本较长,我可以使用标题来组织。 这个文本不算很长,但可以分成几个部分: - 介绍部分(问题背景) - AFVE定义 - AFVE-Bench描述 - 方法 - 结果 - 结论 为了简洁,我可以将所有内容作为段落处理,但如果有意义,插入小标题。 规则说"每个自然段落用

    包裹",所以主要使用`

    `标签。标题用于划分小节。 让我尝试划分: - 第一段:介绍多轮修订和现有评估的问题。 - 第二段:定义AFVE。 - 第三段:介绍AFVE-Bench。 - 第四段:细节设置。 - 第五段:方法论。 - 第六段:结果。 - 第七段:结论。 但有些部分很短,可能合并。 更好的方式是: - 开头:问题陈述(前两句) - 然后定义AFVE(第三句) - 然后AFVE-Bench(第四句) - 然后细节(第五和第六句) - 然后方法(第七句) - 然后结果(第八、九、十句) - 最后结论(第十一句) 在HTML中,我可以使用标题来突出主要部分。 既然规则允许"重要句子可用",我应该找出重要句子并用``标记,但不要过度使用。 规则说"重要句子可用",所以可以选择性地加粗关键点。 现在,关于列表、引用和代码:文本中没有明显的列表、引用或代码。所以可能不需要使用`

      `、`
      `或`
      `。
      
      检查内容:是描述性文本,没有列表项或引用。所以可能只使用`

      `和可能的`

      `/`

      `。 为了安全,我应该考虑是否有隐含的列表。例如,"zero, one, or two" 不是列表项;是描述。所以不需要`
        `。 同样,没有引用或代码。 所以,主要任务是将文本分成段落,并用`

        `包裹每个自然段落。如果文本有小节,用标题划分。 让我识别自然段落: - 第一句和第二句:介绍问题。可以作为一个段落。 - 第三句:定义AFVE。可能独立或与前文连接。 - 第四句:介绍AFVE-Bench。 - 第五和第六句:设置细节。 - 第七句:方法论。 - 第八、九、十句:结果。 - 第十一句:结论。 为了流畅,我可以将相关部分分组。 例如: 段落1:介绍多轮修订和现有评估的局限性。 段落2:定义AFVE。 段落3:AFVE-Bench的描述。 段落4:AFVE-Bench的设置细节(包括条件)。 段落5:方法论(模型配置和注释)。 段落6:结果(AFVE发生率等)。 段落7:结论。 现在,对于标题:规则说"长文用

        /

        划分小节"。这个文本长度适中,但可以添加小标题来组织。 例如: - 使用`

        `作为主要部分,如"Problem Statement", "AFVE-Bench Overview", "Methodology", "Results", "Conclusion" 等。 但规则说"保留原文所有信息,不得增删改内容",所以我不能添加新标题;只能使用原文中的信息。标题应该基于内容。 原文中没有明确的标题,所以我需要推断小节。 或许将文本分成几个逻辑部分,并用`

        `作为小标题。 为了简单,我可以将整个文本作为一系列段落,但如果有意义,插入标题。 看规则:"长文用

        /

        划分小节"。这里文本有多个句子,但不是很长,所以可能只需要段落。 为了符合规则,我可以使用标题来划分。 让我尝试: - 开头:问题背景(前两句) - 然后:AFVE定义 - 然后:AFVE-Bench描述 - 然后:方法 - 然后:结果 - 然后:结论 但原文是连续的,没有分节。所以或许不需要标题,除非文本明显有小节。 规则说"每个自然段落用

        包裹",所以我应该识别自然段落。 自然段落通常是基于主题的连续句子。 分析文本: 1. "Multi-turn revision often asks a model to replace an earlier organizing frame while preserving still-valid facts and artifact requirements. Existing instruction-following evaluations mainly assess the latest target and may therefore score an artifact as successful even when it adopts the new frame but exposes the superseded one." — 这是一个段落,介绍问题。 2. "We call this failure an abandoned-frame verbalization error (AFVE)." — 定义,可能独立或与前文连接。可以与前文合并,但为了清晰,可能分开。 3. "AFVE-Bench evaluates silent frame replacement in English and Chinese using 192 matched four-turn dialogues across eight writing domains." — 介绍AFVE-Bench。 4. "Each seed has zero, one, or two pre-target user requests to