首页 > 资讯 > GPT-o3以94.51分居首:2026-10-17 Smoke快测数据简报

GPT-o3以94.51分居首:2026-10-17 Smoke快测数据简报

赢政天下 2026-10-17 03:35 5 阅读 查看原文

2026-10-17 赢政指数 Smoke 快测覆盖 14 个模型,GPT-o3 以 94.51 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名 模型 主榜 代码执行 材料约束 诚信
#1 GPT-o3 94.51 100 87.8 pass
#2 Grok 4 88.69 91.7 85 pass
#3 Gemini 3.1 Pro 87.76 100 72.8 pass
#4 GPT-6 Sol 87.31 100 71.8 pass
#5 DeepSeek V4 Pro 86.5 100 70 pass
#6 Claude Opus 4.7 84 75 95 pass
#7 GPT-6.1 Sol 82.63 83.3 81.8 pass
#8 GPT-6 Luna 80.25 70.8 91.8 pass
#9 GPT-5.5 79.5 75 85 pass
#10 GPT-6 Astra 78.13 83.3 71.8 pass
#11 Gemini 2.5 Pro 76.73 94.5 55 pass
#12 Claude Sonnet 4.6 75.9 75 77 pass
#13 豆包 Pro 69.04 83.3 51.6 pass
#14 GLM-4.6 62.45 41.7 87.8 warn

数据解读

今日赢政指数Smoke快测中,头部模型在代码执行与材料约束的搭配上呈现明显分化。GPT-o3以代码执行100、材料约束87.8取得主榜94.51,Grok 4则依靠代码执行91.7与材料约束85的均衡组合获得主榜88.69,Gemini 3.1 Pro与GPT-6 Sol均以代码执行100但材料约束分别为72.8和71.8位列第三、四。Claude Opus 4.7反向突出材料约束95而代码执行75,主榜84。DeepSeek V4 Pro同样代码执行100、材料约束70,主榜86.5。这些结构显示高代码执行模型若材料约束不足,主榜排名会受到0.45权重制约。

显著变化模型中,GLM-4.6主榜上升35.7分,代码执行上升16.7分、材料约束上升58.9分,诚信从pass转为warn;GPT-6 Sol主榜上升34.3分,代码执行上升55.2分;GPT-o3主榜上升33.8分,代码执行上升61.7分;Gemini 3.1 Pro主榜上升18.1分,代码执行上升45.5分但材料约束下降15.3分。异常信号方面,Gemini 3.1 Pro材料约束暴跌15.3分、DeepSeek V4 Pro暴跌18.1分、GPT-6 Astra暴跌16.3分、Gemini 2.5 Pro暴跌22.6分,以及豆包 Pro主榜暴跌16.1分,均可能源于单日小样本抽样波动或临时表现退化,需后续同口径run复核确认。

整体来看,Smoke快测作为小样本单日信号,仅反映当日14个模型在代码执行与材料约束两项的即时搭配,未提供长期稳定性判断。Qwen3 Max因API故障数据不完整,未参与排名。

主要变化

  • GLM-4.6:主榜上升35.7分,代码执行+16.7分,材料约束+58.9分,诚信pass→warn
  • GPT-6 Sol:主榜上升34.3分,代码执行+55.2分,材料约束+8.7分
  • GPT-o3:主榜上升33.8分,代码执行+61.7分
  • Gemini 3.1 Pro:主榜上升18.1分,代码执行+45.5分,材料约束-15.3分
  • GPT-5.5:主榜上升17分,代码执行+28分

需要关注的信号

  • Gemini 3.1 Pro:材料约束暴跌 -15.3 分
  • DeepSeek V4 Pro:材料约束暴跌 -18.1 分
  • GPT-6 Astra:材料约束暴跌 -16.3 分
  • Gemini 2.5 Pro:材料约束暴跌 -22.6 分
  • 豆包 Pro:主榜暴跌 -16.1 分
  • Qwen3 Max:数据不完整(缺 execution,grounding,judgment,integrity,communication 维度,API 故障/超时),已进入自动补跑,本期不参与排名

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #382 | 查看原始数据