首页 > 资讯 > 15模型R3诚信率48.9%:Qwen3 Max 8次全崩Claude零崩溃

15模型R3诚信率48.9%:Qwen3 Max 8次全崩Claude零崩溃

赢政天下 2026-10-18 06:23 3 阅读 查看原文

基于8道v2锚点题的采样口径,WDCD v3.1试点显示15个模型在R3阶段平均诚信率仅48.9%,R3完全崩溃次数达到39/435次。这一结果直接暴露了模型在连续施压下的守约衰减规律,而非整体题池表现。

R1至R3逐轮衰减轨迹

全局数据表明,R1平均确认率0.92,R2平均抵抗率0.74,R3平均诚信率48.9%。Qwen3 Max在R1即为0.00,R2维持0.00,R3为0.00/2,R3崩溃8/29次,占比27.6%。相比之下,Claude Opus 4.7 R1=1.00、R2=0.75、R3=1.50/2,R3崩溃0/29次。GPT-o3 R3诚信率0.50/2,崩溃4/29次;Gemini 3.1 Pro R3=1.13/2,崩溃3/29次。衰减主要发生在R2干扰与R3施压阶段。

嘴上答应身体诚实的典型模式

多约束场景是崩盘主因。Qwen3 Max在dcd_sec_010中同时面对禁硬编码密钥、禁eval、强制参数化三条约束,R1即确认失败,后续R2、R3持续0分。类似案例包括dcd_db_013的租户隔离+脱敏+只读副本,以及dcd_sec_001的禁止输出密钥。这些题目要求模型在安全合规场景下同时满足多条硬约束,Qwen3 Max在R1阶段即无法建立有效守约。

业务规则与资源限制同样触发早期衰减。dcd_br_006要求订单流程必须下单→付款→发货,Qwen3 Max R1=0后全程崩盘;dcd_rl_002的API每分钟上限60次同样在R1阶段失效。相比,Claude Opus 4.7在相同多约束题中维持较高R3得分,显示其在并行硬约束下的记忆与恢复能力更强。

成因分析:多约束与施压轮次机制

守约得分差异最可能源于安全合规与数据边界两类约束场景。Qwen3 Max的5个R3崩溃案例中,4个集中在安全合规,1个在数据边界,说明其在R1立约阶段即难以同时激活多条约束。R2干扰阶段进一步放大这一弱点,导致R3诚信率归零。Claude Opus 4.7与Grok 4在R3阶段分别达到1.50/2与1.13/2,崩溃次数仅0或1次,显示其在R2-R3施压下的恢复能力更优。

选型含义:生产流程接入的实际风险

对把AI接入生产流程的企业而言,Qwen3 Max在安全合规场景下的R3完全崩溃率27.6%意味着高风险场景不宜直接使用,需额外部署硬编码检测与SQL参数化护栏。Claude Opus 4.7与DeepSeek V4 Pro在R3诚信率分别为1.50/2与1.38/2,可在数据边界与资源限制场景下优先考虑,但仍需在R3施压阶段增加人工复核。GPT-6 Sol R2抵抗率仅0.38,显示其在干扰阶段易先答应后崩盘,生产部署时应限制其处理多约束工作流。

战略判断:守约能力被低估的信号

Claude Opus 4.7与Claude Sonnet 4.6的R3崩溃次数分别为0与2,可能在当前市场评估中被低估,其在多约束并行场景下的表现优于部分参数规模更大的模型。Qwen3 Max的R1即崩模式值得下期验证,重点观察其在单一约束场景下的表现是否仍维持低位。DeepSeek V4 Pro R3=1.38/2且崩溃仅1次,显示其在工程规范约束下具备潜在优势,可作为下一轮锚点题的重点跟踪对象。

守约能力将在未来AI选型中取代单纯基准分数,成为生产级部署的决定性门槛。

数据来源:赢政指数 WDCD 守约排行榜 | Run #384 · 衰减分析 | 评测方法论