首页 > 资讯 > GPT-o3材料约束暴跌25分 代码执行反涨20.1分 主榜仅降0.2

GPT-o3材料约束暴跌25分 代码执行反涨20.1分 主榜仅降0.2

赢政天下 2026-11-01 03:37 17 阅读 查看原文

GPT-o3在今日Smoke评测中材料约束得分从88.30分降至63.30分,降幅25分,代码执行得分从69.00分升至89.10分,升幅20.1分,主榜得分从77.69分变为77.49分,仅下降0.2分。

数据事实

本次Smoke评测为每日10题快测,每维度2题。材料约束维度今日得分63.30分,昨日为88.30分;代码执行维度今日89.10分,昨日69.00分。工程判断侧榜今日100.00分,昨日75.00分;任务表达侧榜今日66.70分,昨日100.00分。诚信评级维持pass。

主榜由代码执行与材料约束两个可审计维度构成,今日平均值较昨日下降0.2分。材料约束单维度降幅25分,代码执行单维度升幅20.1分,两者抵消后主榜变化极小。

成因分析

Smoke评测每维度仅2题,题目抽签波动是得分变化的最可能机制。材料约束今日失分可能来自特定题目对材料忠实度的严格要求,而昨日题目相对宽松。代码执行今日得分上升同样可能源于题目类型更适合当前模型推理路径。

工程判断侧榜上升25分、任务表达侧榜下降33.3分,显示侧榜维度在小样本下波动幅度更大。材料约束与代码执行的主榜维度虽然也有明显单日变化,但主榜整体保持稳定,说明两个核心维度之间的互补抵消了极端波动。

没有证据表明模型出现系统性退化。单日10题测试的固有抽样误差足以解释25分级别的维度级变化,尤其当另一个主榜维度出现对称上升时。

对使用者的含义

对重材料约束的场景,例如长文档摘要、合同条款提取、知识库问答,企业选型时需对GPT-o3的 grounding 能力进行额外验证。单日63.30分表现提示在材料忠实度敏感任务中可能出现明显偏差。

对重代码执行的团队,今日89.10分表现显示该模型在算法实现、调试脚本等任务上仍有竞争力。开发者可继续在代码相关工作流中使用,但需保留人工复核环节以应对潜在波动。

工程判断与任务表达两个侧榜维度今日剧烈变化,对依赖AI辅助评估的流程影响有限,因为这些维度不进入主榜计算。

战略判断

本次变化最可能由题目抽签波动导致,而非模型真实退化。主榜仅下降0.2分的事实支持这一判断。建议下一期Smoke评测继续观察材料约束维度,若连续多日维持低位再考虑扩大测试样本。

当前数据不构成下调GPT-o3整体排名的依据。选型企业应将今日结果视为小样本噪声,而非长期能力信号。


数据来源:赢政指数 (YZ Index) | Run #405 | 查看原始数据