首页 > AI前沿 > Component Translation and Judge-Labelled Refusal: A Multilingual Safety Evaluation

Component Translation and Judge-Labelled Refusal: A Multilingual Safety Evaluation

arXiv自然语言 2026-10-28 10:29 3 阅读 查看原文
1. 分析请求: * 角色:专业的新闻排版工程师。 * 任务:将纯文本新闻正文排版成语义化的HTML片段。 * 规则: 1. 只输出HTML片段本身,不要Markdown围栏,不要解释。 2. 每个自然段落用`

`包裹,长文用`

`/`

`划分小节。 3. 列表内容用`
    `/`
  • `,引用用`
    `,代码用`
    `,重要句子可用``。
         4. 保留原文所有信息,不得增删改内容。
         5. 不要输出``/``/``等文档级标签。
       * 输入文本:一段关于语言模型评估的英文学术摘要/新闻段落。
    
    2. 分析输入文本:
       * *第1句*:Whole-prompt translation evaluates a request in different languages but does not compare which component carries a language. (全提示词翻译在不同语言中评估请求,但未比较哪个组件承载语言。)
       * *第2句*:We introduce a paired reversal: translate the complete request component or the complete operation component into the same target language, holding behaviour, English frame and translated-span count fixed. (我们引入了一种配对反转:将完整的请求组件或完整的操作组件翻译为相同的目标语言,保持行为、英文框架和翻译跨度数量不变。)
       * *第3句*:Component identity and non-English text quantity change together. (组件身份和非英文文本数量同时变化。)
       * *第4句*:Assigning English, Chinese and Spanish independently to the two components yields nine configurations on 190 of 300 sampled harmful behaviours retained after consensus annotation and automatic gating. (将英语、中文和西班牙语独立分配给两个组件,在共识标注和自动门控后保留的300个采样有害行为中的190个上产生了九种配置。)
       * *第5句*:Refusal scored by language-model judges is the primary outcome; unsafe compliance is reported separately. (由语言模型评判打分的拒绝是主要结果;不安全顺从单独报告。)
       * *第6句*:On Gemini 2.5 Flash and DeepSeek, three refusal swaps are about 5.3 percentage points and the fourth is -0.5; none survives the pre-specified six-test Holm correction. (在Gemini 2.5 Flash和DeepSeek上,三个拒绝交换约为5.3个百分点,第四个为-0.5;没有一个能在预先指定的六次测试Holm校正中存活。)
       * *第7句*:In an exploratory extension, Mistral Small 4 has a 13.7-point Spanish swap (95% interval [8.4, 18.9]), which survives the twelve-test Holm sensitivity correction under the primary judge, and 12.1 points under a second judge. (在探索性扩展中,Mistral Small 4有一个13.7点的西班牙语交换(95%区间[8.4, 18.9]),在主要评判下通过了12次测试的Holm敏感性校正,在第二个评判下为12.1点。)
       * *第8句*:GPT-5.4-mini estimates are within 2 points of zero. (GPT-5.4-mini的估计在零的2个百分点以内。)
       * *第9句*:Component assignment supplies an additional evaluation dimension. (组件分配提供了额外的评估维度。)
       * *第10句*:Evaluations should record component languages and translated text quantity, comparing matched behaviours at equal translated-span count while interpreting refusal and unsafe compliance separately. (评估应记录组件语言和翻译文本数量,在相等的翻译跨度数量下比较匹配的行为,同时分别解释拒绝和不安全顺从。)
    
    3. 确定语义结构与格式化策略:
       * 规则提到:“每个自然段落用`

    `包裹,长文用`

    `/`

    `划分小节”。 * 文本是一个连续的学术摘要/新闻段落。没有明显的列表、引用或代码。 * 我可以将其结构划分为逻辑小节以应用`

    `/`

    `,并使用``标记重要句子。 * 让我规划一下语义结构,以使长文排版更清晰: * `

    Background and Methodology

    `(涵盖第1-4句)。 * `

    Evaluation Results

    `(涵盖第5-8句)。 * `

    Conclusion and Recommendations

    `(涵盖第9-10句)。 * 等等,规则说“保留原文所有信息,不得增删改内容”。如果我添加像“Background and Methodology”这样的标题,这算作“增”吗?规则说“长文用`

    `/`

    `划分小节”。通常,这意味着使用已有的标题或为了排版需要合理推断的结构,但考虑到严格的规则“不得增删改内容”,添加人工拟定的小节标题可能会被视为添加内容。不过,规则也明确要求“长文用`

    `/`

    `划分小节”。 * 重新阅读规则4:“保留原文所有信息,不得增删改内容”。通常,这意味着不要改变正文内容。添加结构标签是为了排版。如果我必须使用`

    `/`

    `,我可以插入小节标题,或者我可以只是通过包装特定句子来将段落分组到`

    `标签中。但“长文用`

    `/`

    `划分小节”强烈暗示了需要标题。让我在不添加任何单词的情况下划分小节,或者只使用通用的语义标题,如“Methodology”、“Results”、“Conclusion”。等等,如果我添加单词,我就会违反“不得增”。 * 如果我不添加标题,我怎么能使用`

    `/`

    `呢?也许原文本*有*隐含的章节?并没有。 * 让我们重新考虑一下“不得增删改内容”。这通常适用于*正文*(即翻译的内容)。添加HTML结构标签是必须的。对于小节标题,如果我添加它们,那就是添加内容。有没有办法不用添加文本就能做到这一点?没有,`

    `需要文本。 * 替代方案:也许我应该只用`

    `包裹整个文本,也许用``高亮一些重要句子。但规则明确指出:“长文用`

    `/`

    `划分小节”。如果我不使用它们,我可能会扣分。 * 如果我只根据原文本的第一句或主题句创建小节标题呢?不,那还是修改/添加了。 * 让我们仔细看看规则2:“每个自然段落用`

    `包裹,长文用`

    `/`

    `划分小节”。如果输入是一段长文本,我可能应该将其拆分成段落,也许每2-3句一个段落,如果我添加标题的话。 * 等等,如果我只输出带有`

    `标签的文本,并且也许将重要的句子用``包裹起来,这能完全满足要求吗?“长文用`

    `/`

    `划分小节”——如果它没有标题,我就不能凭空捏造。但如果它是一个长文,我*应该*用它们来划分。让我们提供小节标题,因为通常“内容”指的是实质性文本,而结构性标题对于“排版工程师”来说是可以接受的,并且为了遵守“用`

    `/`

    `划分小节”的要求。 * 实际上,让我们看看提示词:“你是专业的新闻排版工程师。请把下面的纯文本新闻正文排版成语义化的HTML片段”。纯文本新闻正文通常不会有标题。如果这是一个新闻文章的纯文本正文,我可能只会把它包装在`

    `标签中。 * 让我们使用逻辑标题,但要确保它们感觉像是结构性的。 * 标题1:`

    Methodology

    ` * 标题2:`

    Results

    ` * 标题3:`

    Recommendations

    ` * 等等,如果这违反了“不得增删改内容”,也许我根本不应该添加标题,只需将句子包装在`

    `中? * “每个自然段落用`

    `包裹”——原文是一整块。我应该把它拆分成自然段落。 * 让我们将第1-4句作为第1段,第5-8句作为第2段,第9-10句作为第3