首页 > 资讯 > GPT-6 Astra材料约束暴跌29.1分 代码执行反升19.5分

GPT-6 Astra材料约束暴跌29.1分 代码执行反升19.5分

赢政天下 2026-11-06 03:36 10 阅读 查看原文

GPT-6 Astra在今日Smoke评测中材料约束得分从89.80分降至60.70分,降幅达29.1分,同时代码执行从75.00分升至94.50分,主榜整体从81.66分降至79.29分。

得分对比数据

代码执行维度昨日75.00分、今日94.50分,上升19.5分;材料约束维度昨日89.80分、今日60.70分,下降29.1分;工程判断从100.00分降至75.00分;任务表达从87.50分升至90.00分;诚信评级维持pass。

成因分析

Smoke评测每日仅10题、每维度2题,单日分数标准差天然较大。材料约束与代码执行出现方向完全相反的大幅变动,最可能源于题目抽签的随机波动,而非模型能力真实退化。材料约束题目可能集中考察了严格的材料忠实度要求,恰好命中模型在特定约束下的弱点;代码执行题目则抽中了模型擅长的场景,导致两极分化。

工程判断侧榜(AI辅助评估)下降25分,进一步印证当日题目组合存在较高难度差异。任务表达小幅上升2.5分则显示模型在表达层面保持相对稳定。

对使用者的含义

重材料约束场景的企业(如合同生成、知识库问答)需注意,单次Smoke分数60.70分意味着在严格引用原文的任务中可能出现更多幻觉或偏离。依赖代码执行的开发者则可继续使用该模型,94.50分显示其在代码正确性上仍有优势。

对同时需要材料约束与代码执行的混合场景团队,建议连续多日观察后再做选型决定,避免被单日波动误导。

战略判断

基于现有得分对比,材料约束29.1分跌幅最可能由题目抽签导致,而非模型真实退化。主榜仅降2.4分也支持这一判断。下一期评测若材料约束回升至80分以上,则可确认当日为正常波动;若持续低于70分,则需进一步验证模型在 grounding 维度的稳定性。

目前数据不支持对GPT-6 Astra进行负面战略下调,建议保持观察。


数据来源:赢政指数 (YZ Index) | Run #414 | 查看原始数据