首页 > 资讯 > GPT-6.1 Sol材料约束暴跌19分,代码执行却暴涨25分

GPT-6.1 Sol材料约束暴跌19分,代码执行却暴涨25分

赢政天下 2026-10-12 03:37 3 阅读 查看原文

GPT-6.1 Sol在今日Smoke评测中,材料约束得分从89.30分降至70.30分,降幅19分,而代码执行得分从72.00分升至97.00分,涨幅25分,主榜整体从79.79分升至84.99分。

得分对比与核心发现

代码执行72.00分升至97.00分,材料约束89.30分跌至70.30分,工程判断75.00分升至100.00分,任务表达84.70分降至79.70分,主榜79.79分升至84.99分,诚信评级维持pass。材料约束单日跌幅19分是本次评测最突出的异常。

波动成因分析

Smoke评测每日仅10题,2题/维度,题目抽签随机性直接影响得分。材料约束本次暴跌,可能源于当日抽中的两道材料约束题目难度或约束要求高于昨日样本;代码执行与工程判断同时大幅上升,说明模型在本次抽签中对代码类和判断类任务的响应更稳定。任务表达仅降5分,幅度远小于材料约束,表明退化并非全局性。现有数据无法区分是题目抽签波动还是模型真实退化,需下一期相同维度题目复测才能验证。

对使用者的具体含义

重材料忠实度的场景(如合同抽取、文献摘要、法规合规检查)依赖材料约束维度,GPT-6.1 Sol今日70.30分意味着这些场景下模型更易忽略或曲解给定材料,建议企业用户在关键输出前增加人工校验环节。代码执行97.00分的表现对算法开发、数据处理流水线有利,这类团队可继续使用,但需单独监控材料约束表现。工程判断100.00分对系统设计评审场景有帮助,任务表达79.70分对需求文档撰写影响有限。

战略判断

主榜上升5.2分主要由代码执行和工程判断拉动,材料约束的19分跌幅被部分抵消。基于单日10题样本量,19分波动更可能来自题目抽签而非模型退化。建议下一期重点观察材料约束是否回升至85分以上;若连续两期低于75分,则需重新评估该模型在材料敏感任务中的优先级。当前数据不支持对GPT-6.1 Sol整体能力的负面结论。


数据来源:赢政指数 (YZ Index) | Run #373 | 查看原始数据