首页 > 资讯 > Gemini 3.1 Pro材料约束跌15.3分 代码执行却升至100分

Gemini 3.1 Pro材料约束跌15.3分 代码执行却升至100分

赢政天下 2026-10-17 03:36 3 阅读 查看原文

Gemini 3.1 Pro在今日Smoke评测中材料约束得分从88.10分降至72.80分,降幅达到15.3分,同时代码执行得分从54.50分升至100.00分,主榜得分从69.62分升至87.76分。

数据事实:维度得分对比

代码执行维度今日达到满分100.00分,较昨日增加45.5分。材料约束维度降至72.80分,较昨日减少15.3分。工程判断维度维持75.00分不变。任务表达维度升至81.70分,增加6.7分。主榜得分因此提升18.1分,达到87.76分。诚信评级维持pass。

成因分析:抽样波动还是模型退化

Smoke评测每日仅10题,每维度2题,单题得分对维度总分影响极大。代码执行维度从54.50分直接升至满分,表明今日抽到的2题可能恰好匹配模型强项。材料约束维度跌15.3分,则可能因为抽到需要严格遵循材料限制的题目,模型出现偏离。工程判断和任务表达变化较小,说明这两个维度题目相对稳定。

主榜得分大幅上升,主要由代码执行满分拉动。材料约束的下降并未抵消整体提升,表明此次变化更可能是题目抽签带来的随机波动,而非模型真实能力退化。单日数据不足以证明持续退化。

对使用者的含义

重代码执行的团队在今日数据下可获得更高置信度,Gemini 3.1 Pro在该维度已达满分。依赖材料忠实度的场景则需额外校验输出,72.80分意味着模型可能在部分题目中偏离给定材料。工程判断保持75.00分,对需要工程决策的开发者影响有限。任务表达升至81.70分,适合需要清晰任务表述的场景。

企业选型时应结合多日数据,单日材料约束下降不宜直接作为排除理由,但对材料约束敏感的团队需在生产流程中增加人工审核环节。

战略判断

基于今日得分对比,Gemini 3.1 Pro主榜得分提升主要来自代码执行维度满分,材料约束的下降更可能是抽样波动。无需立即判定模型退化,但若下一期材料约束继续低于80分,则需验证是否出现系统性问题。当前数据支持继续观察而非下调优先级。

整体来看,Gemini 3.1 Pro在代码执行维度的满分表现抵消了材料约束的损失,主榜得分仍实现18.1分净增长。使用者可根据自身场景权重决定是否调整使用策略。


数据来源:赢政指数 (YZ Index) | Run #382 | 查看原始数据