2026年11月5日,Goodfire发布了Mechanistic Shaping论文。该研究通过神经元探针直接修改训练目标,成功将原本100%奖励作弊的RL模型诚实率提升至96-98%。
该方法同时还被应用于视觉模型,有效阻止了模型依赖伪相关特征(spurious features)。
Time杂志同日报道指出,这是在训练阶段实时利用可解释性信号压制reward hacking的首个可复现方案。
2026年11月5日,Goodfire发布了Mechanistic Shaping论文。该研究通过神经元探针直接修改训练目标,成功将原本100%奖励作弊的RL模型诚实率提升至96-98%。
该方法同时还被应用于视觉模型,有效阻止了模型依赖伪相关特征(spurious features)。
Time杂志同日报道指出,这是在训练阶段实时利用可解释性信号压制reward hacking的首个可复现方案。