首页 > AI前沿 > Disambiguating Moral Circuits and Moral Features in Language Models: Moral content, normative judgment or cue words? Evidence from 14 models

Disambiguating Moral Circuits and Moral Features in Language Models: Moral content, normative judgment or cue words? Evidence from 14 models

arXiv自然语言 2026-11-18 13:00 23 阅读 查看原文
用户要求将一段纯文本新闻正文排版成语义化的HTML片段。需要遵循几个核心规则: 1. 只输出HTML片段本身,不要Markdown围栏,不要任何解释。 2. 每个自然段落用

包裹,长文用

/

划分小节。 3. 列表用
  • ,引用用
    ,代码用
    ,重要句子可用。
    4. 保留原文所有信息,不得增删改内容。
    5. 不要输出//等文档级标签。
    
    正文分析:
    原文是一段关于可解释性方法在语言模型道德判断中的研究描述。可以将其划分为几个部分:
    - 引言/背景:可解释性方法定位注意力头和SAE特征,改变模型对道德提示的回答(例如“Stealing medicine for a dying child is morally”接“justified”还是“wrong”)。组件可能响应道德内容、任何规范的行为判断,或提示中的“morally”一词。
    - 研究设计:构建227对最小短语,5个标注者验证,两个版本在道德标准、其他规范(谨慎、礼仪、美学或证据)或描述性质量上不同,展示给14个开放权重模型(Llama、Gemma和Qwen,1B到14B,基础和指令微调),带或不带“morally”一词。
    - 主要发现:在所有模型中,改变道德答案的头属于评估回路,模型用于测试的每种规范判断;这些头对道德和其他规范对的影响份额相同(有“morally”时汇总比率1.00,97.5%置信区间[0.92, 1.07];无时0.90,[0.84, 0.96]),模型在两种情况下都需要它们。
    - 进一步发现:模型在提示没有要求判断时也需要这些头,在ETHICS基准的400个场景中,移除它们会消除37%到39%的可接受与不可接受场景之间的差异,而随机10个头只有1%到3%。SAE特征主要响应“morally”一词而不是短语内容。模型表示对的类别(标注者分配的规范):可以从隐藏状态读取,在测试的8个模型中,移除承载它的方向会使道德判断减弱几个百分点,并且在7个模型中比其他判断更多。
    - 数据发布:发布对、评分、代码、训练的SAE字典和结果文件。
    
    由于是单段文本,没有明显的列表或引用,但为了符合排版要求,我需要合理划分小节和段落。
    
    排版构思:
    用

    作为主要小节标题,比如“研究背景与方法”、“主要发现”、“进一步分析与数据发布”。但规则说“不得增删改内容”,如果我加标题,标题内容必须来自原文,或者标题本身不算增删改内容?通常,如果原文没有标题,添加标题可能被视为“增”,但规则3说“长文用

    /

    划分小节”,这意味着允许添加结构性标题,只要标题文字不改变原文信息,或者标题文字本身也是原文的一部分。但原文没有现成的标题。为了安全,我可以将原文的句子分组,用

    或

    包裹原文中的关键句作为小节标题?或者,不添加额外的文字,只将自然段落用

    包裹,如果原文很长,可以分成几个

    ,但规则2明确说“长文用

    /

    划分小节”。如果我必须用

    /

    ,我可以用原文中的短语作为标题,比如把第一句作为

    ?不太合适。 或者,我理解“划分小节”是指如果原文有小节就使用,如果没有,可以不强制添加,但为了体现排版,我可以把整个文本分成几个

    ,并适当用强调重要句子。但规则2说“长文用

    /

    划分小节”,这篇文本算长文吗?大概300字,不算特别长,但为了遵循规则,我可以将其分为几个逻辑段落,并用

    或者直接

    。其实,如果我不添加原文没有的标题文字,就不算“增删改内容”。我可以不添加

    /

    ,只使用

    和,因为规则2是“长文用...”,如果不是长文,可以不用。但为了保险,我可以把第一句作为引言,用

    ,然后后面的作为

    。 再仔细看规则3:“重要句子可用”。我可以加粗几个关键句。 规则4:“保留原文所有信息,不得增删改内容”。这意味着我不能添加任何原文没有的词,包括标题。所以,不添加

    /

    标题文字是最安全的,只使用

    、等。或者,如果非要用

    ,可以把原文的某句话变成标题?不行,标题通常较短,且改变句子结构可能被视为修改。因此,我决定不使用

    /

    ,只使用

    和,因为原文并没有明显的章节标题,且不是需要划分小节的长文(它是一段连贯的学术摘要)。如果一定要用,我可以把整段作为一个

    ,或者分成几个

    。分成几个

    更符合“每个自然段落用

    包裹”。原文其实是一个自然段,但我可以按照句号或逻辑断句分成几个

    ,这不算增删改内容,只是排版。 让我们将原文分成几个

    :

    Interpretability methods can locate the attention heads and sparse autoencoder (SAE) features that change the answer a language model gives to a moral prompt, e.g., whether "Stealing medicine for a dying child is morally" continues with "justified" or "wrong". Such a component could respond to moral content, to the judgment of conduct by any norm, or to the word "morally" in the prompt.

    We built 227 minimal pairs of short phrases, validated by five annotators, whose two versions differ in a moral standard, in another kind of norm (prudence, etiquette, aesthetics or evidence) or in a descriptive quality, and showed them to 14 open-weight models (Llama, Gemma and Qwen, 1B to 14B, base and instruction-tuned), with and without the word "morally".

    In every model, the heads that change the moral answer belong to an evaluation circuit the models use for every kind of normative judgment we tested: these heads carry the same share of the effect for moral as for other normative pairs (pooled ratio 1.00, 97.5% confidence interval [0.92, 1.07], with the word; 0.90, [0.84, 0.96], without it), and the models need them as much for both.

    The models need these heads also when nothing in the prompt asks for a judgment, and on 400 scenarios of the ETHICS benchmark, where removing them takes away 37 to 39% of the difference between acceptable and unacceptable scenarios, against 1 to 3% for ten random heads. The SAE features we located respond mostly to the word "morally" rather than to what the phrase is about.

    The models represent the category of a pair (the standard the annotators assigned to it): it can be read from their hidden states, and, in the eight models we tested, removing the direction that carries it weakens the moral verdict by a few percent, and more than the other verdicts in seven of them. We release the pairs, the ratings, the code, the trained SAE dictionaries and the result files.

    检查是否保留了所有信息:是的,没有删减。 检查是否使用了文档级标签:没有。 检查是否只有HTML片段:是的。 检查重要句子用:已使用。 检查列表、引用、代码:原文没有这些,所以不使用,这符合规则(规则3是“列表内容用...”,有才用)。 关于

    /

    ,由于原文没有明确的小节标题,且添加标题会违反“不得增删改内容”的规则,因此不使用是合理的。如果非要用,可以把原文的某些句子作为标题,但这会改变句子在段落中的位置,可能被视为修改。所以只用

    和是最佳选择。 再核对一遍文本,确保没有遗漏或添加任何字符。 原文: Interpretability methods can locate the attention heads and sparse autoencoder (SAE) features that change the answer a language model gives to a moral prompt, e.g., whether "Stealing medicine for a dying child is morally" continues