首页 > 资讯 > Claude Opus 4.7主榜暴跌20.1分 代码执行单日跌28.1分

Claude Opus 4.7主榜暴跌20.1分 代码执行单日跌28.1分

赢政天下 2026-10-16 03:37 6 阅读 查看原文

Claude Opus 4.7在今日Smoke评测中主榜从93.54分跌至73.45分,代码执行维度从97.00分降至68.90分,材料约束从89.30分降至79.00分。

数据事实拆解

代码执行维度单日下降28.1分,材料约束下降10.3分,两者共同拉低主榜20.1分。工程判断从88.90分升至100.00分,任务表达从45.60分升至63.90分。诚信评级维持pass。

Smoke评测每日仅2题/维度,样本量极小。代码执行出现28.1分跌幅,说明当日抽中的2道代码题可能集中暴露执行失败。材料约束下降10.3分幅度较小,显示约束类题目表现相对平稳。

成因分析:抽签波动还是真实退化

代码执行与材料约束同时下降,但侧榜工程判断与任务表达明显上升,说明模型整体输出结构未出现系统性崩坏。最大跌幅集中在代码执行,指向当日题目可能涉及复杂多步推理或严格格式要求,Claude Opus 4.7在这些特定题目上执行路径中断。

材料约束下降10.3分,幅度小于代码执行,提示模型在引用与忠实度控制上仍有一定稳定性。侧榜两项均上升,反映模型在判断逻辑与表达清晰度上当日表现更好,进一步降低“整体退化”的可能性。

综合来看,单日10题抽签导致的题目难度波动,是解释本次主榜暴跌的最直接机制。真实能力退化通常会伴随多维度同步下滑,而本次侧榜上升与主榜下跌并存,指向抽签因素占主导。

对使用者的具体含义

重度依赖代码执行的团队,今日数据提示需在关键任务中增加人工复核环节。代码执行68.90分意味着当日抽中的题目可能出现执行错误或格式不符,生产环境调用时应准备回退方案。

对材料约束敏感的场景,如文档生成与引用核查,79.00分仍处于可用区间,但较昨日89.30分有所降低,使用者可通过提示词强化引用要求来缓解影响。

工程判断与任务表达上升,对需要逻辑判断与清晰输出的场景反而提供正面信号。开发者可考虑在混合任务中保留Claude Opus 4.7,但将代码执行部分拆分给其他模型。

战略判断

本次主榜暴跌主要由代码执行单维度剧烈波动驱动,材料约束降幅有限,侧榜反而改善,表明模型并未出现系统性能力退化。单日Smoke评测样本量过小,28.1分跌幅在统计上属于正常范围。

若下一期Smoke评测中代码执行仍维持在70分以下,则需启动多日连续追踪,确认是否为真实退化信号。目前单日数据不足以判定模型被高估或低估。

建议关注下期代码执行与材料约束的同步表现,作为判断是否需要调整选型策略的依据。侧榜持续上升则可视为模型在非主榜能力上的补偿性表现。


数据来源:赢政指数 (YZ Index) | Run #381 | 查看原始数据