首页 > 资讯 > Gemini 3.1 Pro代码执行暴跌27.2分 主榜下滑6.5

Gemini 3.1 Pro代码执行暴跌27.2分 主榜下滑6.5

赢政天下 2026-10-14 03:36 5 阅读 查看原文

Gemini 3.1 Pro在今日Smoke评测中代码执行得分从昨日的91.70分直接降至64.50分,降幅达到27.2分,主榜整体从82.39分回落至75.89分。

得分变化的原始数据

昨日到今日的具体对比显示,代码执行维度出现最大波动,材料约束维度则从71.00分上升18.8分至89.80分。工程判断维度维持100.00分不变,任务表达维度小幅上升8.3分至60.00分。诚信评级仍为pass。

波动成因分析

Smoke评测每日仅10题,2题对应一个维度,单日抽签题目差异容易造成分数大幅摆动。代码执行维度本次暴跌,最可能源于今日抽中的两道题目对代码正确性或执行效率要求更高,而模型在这些具体任务上未能给出符合预期的输出。材料约束维度同时大幅上升,说明模型在今日题目中对给定材料的忠实度表现更好,这两个维度的反向变化指向题目抽签带来的随机性,而非模型整体能力退化。

代码执行91.70→64.50,材料约束71.00→89.80,这种对冲式变化在小样本快测中常见。

若模型出现真实退化,通常会伴随多个维度同步下滑,而本次工程判断保持满分,任务表达反而上升,因此更倾向于题目波动解释。

对使用者的具体含义

重度依赖代码生成与调试的团队需注意,Gemini 3.1 Pro在代码执行维度单日可出现超过27分的波动,意味着同一类编程任务在不同日期可能得到差异较大的结果。材料约束维度上升则表明,该模型在需要严格遵循输入文档或指令的场景中仍有较强表现,适合文档总结、合规检查等任务。

对开发者而言,当前数据提示不要在单一Smoke结果上立即调整生产环境中的模型选择,应观察连续多日同类任务的得分分布,以判断是否为偶然波动。

战略判断

基于本次得分对比,Gemini 3.1 Pro代码执行维度的高波动值得下期继续追踪,但现有证据不足以判定模型能力已系统性下降。材料约束维度的显著提升可能掩盖了主榜的回落,建议在下一轮评测中重点关注代码执行题目的难度分布。若连续两日代码执行得分均低于70分,再考虑是否需要更深入的稳定性测试。

工程判断维度持续满分,显示模型在工程决策类问题上仍保持较高水准,这部分能力未受本次波动影响。整体来看,主榜6.5分的回落主要由代码执行单一维度驱动,模型在其他核心能力上未出现同步恶化。


数据来源:赢政指数 (YZ Index) | Run #378 | 查看原始数据