首页 > 资讯 > Claude Sonnet 4.6主榜暴跌12.9分 代码执行从100直降76.1

Claude Sonnet 4.6主榜暴跌12.9分 代码执行从100直降76.1

赢政天下 2026-10-30 03:37 3 阅读 查看原文

Claude Sonnet 4.6在今日Smoke评测中主榜得分从昨日87.36分跌至74.44分,单日下降12.9分,其中代码执行维度从100.00分降至76.10分,降幅23.9分。

数据拆解:单一维度主导下滑

材料约束维度从71.90分升至72.40分,仅增加0.5分。工程判断侧榜从57.50分降至42.90分,任务表达侧榜从57.50分升至63.80分。诚信评级维持pass。主榜仅由代码执行与材料约束两个维度加权构成,代码执行的23.9分跌幅直接拉低整体12.9分。

成因分析:题目抽签波动可能性更高

Smoke评测每日仅2题/维度,样本量极小。代码执行维度单日失分23.9分,最可能源于抽中两道模型当前处理能力不足的题目,而非模型参数或推理能力在24小时内发生退化。材料约束维度同期保持稳定,说明模型对材料忠实度的基础能力未出现系统性问题。

若为真实退化,通常会在多个维度同时显现。目前仅代码执行出现剧烈波动,任务表达侧榜反而上升6.3分,进一步支持波动源于题目随机性而非模型整体能力下降。

对使用者的具体含义

重度依赖代码生成的团队需注意,Claude Sonnet 4.6在Smoke评测中的代码执行得分已出现单日23.9分级别的波动。生产环境中若遇到复杂算法或多步推理任务,建议增加人工校验环节或并行调用其他模型。

对材料忠实度要求较高的场景,如合同审查、报告生成,Claude Sonnet 4.6今日72.40分的材料约束得分仍处于可用区间,影响相对有限。

战略判断

基于当前单日数据,Claude Sonnet 4.6代码执行能力被高估的风险存在,但证据仍不足以判定模型已进入持续退化阶段。下一期Smoke评测若代码执行得分回升至90分以上,则可确认本次为题目抽签波动;若继续低于80分,则需进一步验证模型真实稳定性。

目前唯一可确定的信号是:代码执行维度在小样本快测中表现出较高方差,依赖该维度的开发者应建立多日平均得分跟踪机制,而非依据单日结果调整选型。


数据来源:赢政指数 (YZ Index) | Run #402 | 查看原始数据