首页 > 资讯 > Grok 4 材料约束暴跌22.2分 主榜下滑5.2

Grok 4 材料约束暴跌22.2分 主榜下滑5.2

赢政天下 2026-09-11 03:36 2 阅读 查看原文

Grok 4在今日Smoke评测中,材料约束得分从昨日100.00分跌至77.80分,下降22.2分,主榜得分从93.79分降至88.64分。

得分对比数据

代码执行从88.70分升至97.50分,上升8.8分;工程判断从75.00分跌至30.60分,下降44.4分;任务表达从45.80分升至95.00分,上升49.2分。诚信评级维持pass。

波动成因分析

Smoke评测每日仅2题/维度,共10题。材料约束与工程判断同时出现大幅下滑,而代码执行与任务表达出现同等幅度上升,表明得分变化最可能来自题目抽签的随机性,而非模型能力出现系统性退化。两道材料约束题目中若出现一题严格要求忠实原文且模型出现轻微改写,即可导致该维度从满分直接跌至77.80分。

对使用者的含义

重材料忠实度的场景(如法律合同摘要、学术引用核对)需额外增加人工复核环节。依赖代码执行的开发者可继续使用今日表现,但需注意工程判断侧榜30.60分可能反映模型在多步推理一致性上的不稳定。

战略判断

基于单日数据,主榜5.2分下滑不足以判定模型真实退化。建议下一期重点观察材料约束与工程判断是否同步回升,若连续两日均低于80分再启动深度复测。当前波动属于正常抽签范围,无需立即调整选型优先级。

整体来看,Grok 4今日表现呈现典型的小样本高方差特征。材料约束77.80分与代码执行97.50分的反向运动,进一步印证题目内容差异是主因。企业选型时应将Smoke评测作为参考信号,而非唯一依据,需结合多日平均值判断模型真实水平。


数据来源:赢政指数 (YZ Index) | Run #318 | 查看原始数据