首页 > AI前沿 > Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents

Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents

arXiv自然语言 2026-10-24 02:48 3 阅读 查看原文
这是一个将纯文本新闻正文转换为语义化HTML片段的任务。我需要仔细阅读原文,分析其结构,并应用用户给定的排版规则。 首先,看一下规则: 1. 只输出HTML片段本身,没有任何Markdown围栏,也不加解释。 2. 每个自然段落用

包裹,长文用

/

划分小节。 3. 列表用
  • ,引用用
    ,代码用
    ,重要句子可用。
    4. 保留原文所有信息,不得增删改内容。
    5. 不要输出//等文档级标签。
    
    接下来,我仔细阅读原文内容:
    
    "LLM agents take instructions from the operator, repository configuration, user, tool results and saved memory, which often conflict. Instruction-hierarchy benchmarks ask whether the higher-ranked source wins, but a source sets position, role and label at once. First, we build WhoWins, 1,080 code-scored scenarios in five task types, each with up to five mutually exclusive instructions, and seven controlled experiments that vary only how instructions are delivered. Second, we study 14 open-weight models (0.6B to 122B, thinking off and on) over 1,887,356 scored replies, checking main findings on held-out scenarios. Inside one message the first of two conflicting lines wins 72.42 to 94.66%, and across messages it keeps 22.95 to 62.65%. A policy sent first in the system (or developer) message loses most conflicts with later lines in every Qwen model but wins most on gpt-oss when it acts. In tool and file-write tasks it wins less often than the same text sent first as a labelled user message, in every model-mode. Third, we test whether pairs forecast larger conflicts; forecasts improve in every model-mode once they know where the task line is. Finally, by our keyword patterns at most 2.92% of decided pair replies flag or hedge a conflict."
    
    分析原文结构:
    这段文字是一个学术论文摘要,描述了"WhoWins"基准测试的研究内容。原文没有明确标注小节标题,但它有清晰的逻辑结构:
    
    1. 开头部分(前两句)描述了研究背景和问题:LLM agents接收来自不同来源的指令,这些指令经常冲突。指令层级基准测试问高排名来源是否获胜,但一个来源同时设置位置、角色和标签。
    
    2. "First, we build WhoWins..." - 描述第一个贡献:构建WhoWins基准,包含1080个代码评分场景,五种任务类型,每个有最多五个互斥指令,以及七个对照实验。
    
    3. "Second, we study 14 open-weight models..." - 描述第二个贡献:研究14个开放权重模型(0.6B到122B,思考关闭和开启),处理1,887,356条评分回复,在保留场景上检查主要发现。
    
    4. "Inside one message..." 到 "...in every model-mode." - 这是具体的研究发现,描述了不同场景下冲突解决的结果。
    
    5. "Third, we test whether pairs forecast larger conflicts..." - 描述第三个贡献:测试对是否预测更大冲突。
    
    6. "Finally, by our keyword patterns..." - 描述最后的结论:通过关键词模式,最多2.92%的决定性配对回复标记或回避冲突。
    
    根据规则2,我需要用

    /

    划分小节。虽然原文没有明确的标题,但我可以根据逻辑结构添加小标题,同时"不得增删改内容"——这意味着我不能改变原文的事实内容,但可以添加结构性标题吗? 让我再读规则:"保留原文所有信息,不得增删改内容"。这可能意味着我不能添加原文没有的信息,但标题只是结构性元素,不是内容本身。不过为了安全,我应该谨慎使用标题。 实际上,原文中没有明确的标题,我可以根据"First", "Second", "Third", "Finally"这些标记来组织。但添加标题可能会被视为"增加内容"。让我重新考虑。 规则说"长文用

    /

    划分小节",但这段文字本身不算特别长,而且没有明确的小节标题。也许我可以不使用标题,只用段落和强调来组织? 但是,考虑到这是一个研究摘要,有明确的"First", "Second", "Third", "Finally"结构,添加小标题可以帮助组织内容。我可以添加描述性的小标题,如"研究背景"、"方法:WhoWins基准"、"实验结果"等,但这些不是原文内容。 让我重新考虑规则:"保留原文所有信息,不得增删改内容"。我认为这里的"内容"指的是事实信息、数据、观点等,而不是结构性元素。添加标题不会改变事实,只是改善可读性。但为了严格遵守,我应该尽量不添加原文没有的词语。 一个折中方案:我可以使用原文中的关键词作为标题。例如,"First", "Second"等本身就是原文中的词,我可以围绕它们构建标题。 或者,我可以不使用标题,只用段落和强调。考虑到原文的结构相对简单,一个段落可能就足够了。 让我再分析原文的段落结构: - 第一段:背景和问题(前两句) - 第二段:研究贡献(First, Second, Third, Finally部分) 但原文是一个连续的段落。我需要决定是否拆分。 根据规则"每个自然段落用

    包裹",如果原文是一个自然段落,我就用一个

    。但原文有明显的逻辑分段,我可以拆分为多个

    。 让我决定: 1. 不添加

    /

    ,因为原文没有明确的标题,且添加标题可能被视为"增加内容"。 2. 将原文拆分为几个自然段落,每个用

    包裹。 3. 对关键数据和发现使用强调。 4. 不使用列表、引用或代码,因为原文没有这些元素。 等等,规则说"长文用

    /

    划分小节"。这段文字算不算"长文"?它只有一段,但内容比较密集。也许我可以使用标题来组织"First", "Second", "Third", "Finally"部分。 让我再仔细读规则:"保留原文所有信息,不得增删改内容"。如果添加标题,标题本身不是"信息",而是结构性元素。但为了安全,我可以添加非常通用的标题,如"

    First

    ", "

    Second

    "等,这些词都是原文中的。 但是,这看起来很奇怪。让我换一种方式:我可以使用描述性标题,但确保标题内容不添加新的事实。例如: -

    Background

    -

    First: WhoWins Benchmark

    -

    Second: Model Evaluation

    -

    Third: Conflict Forecasting

    -

    Finally: Conflict Flagging

    这些标题总结了原文内容,但没有添加新事实。但我不确定这是否符合"不得增删改内容"。 让我采取更保守的方法:不使用标题,只用段落和强调。如果原文是一段,我就输出一段,但用强调关键部分。 实际上,我再看一下原文:它是一个连续的段落,但有明显的句子边界。我可以按句子或逻辑组拆分为多个

    。 让我决定: - 将原文拆分为几个

    ,每个对应一个逻辑组。 - 对关键数据使用。 - 不使用标题、列表、引用或代码。 拆分方案: 1. 第一句:背景和问题。 2. 第二句:研究问题。 3. "First..."句:第一个贡献。 4. "Second..."句:第二个贡献和主要发现。 5. "Inside one message..."句:具体发现1。 6. "A policy..."句:具体发现2。 7. "In tool..."句:具体发现3。 8. "Third..."句:第三个贡献。 9. "Finally..."句:最后的结论。 但这样太碎了。让我合并: 1. 前两句:背景和问题。 2. "First..."句:第一个贡献。 3. "Second..."句:第二个贡献和主要发现。 4. "Inside one message..."到"...in every model-mode.":详细发现。 5. "Third..."句:第三个贡献。 6. "Finally..."句:结论。 或者更简单: 1. 整个第一段(背景和问题)。 2. "First..."句。 3. "Second..."句。 4. "Inside one message..."到"...in every model-mode."。 5. "Third..."句。 6. "Finally..."句。 但原文是一个连续段落,没有空行。我可以保持为一个段落,但用