首页
>
资讯
>
数万亿token生意不要了!A\连封数万账号,蒸馏数据大砍99%
数万亿token生意不要了!A\连封数万账号,蒸馏数据大砍99%
就在刚刚,Anthropic突然发帖「炫耀」了一番他们最近的反蒸馏战绩。
-
自有平台上,蒸馏能拿走的推理数据少了约90%—99%,规模只剩原来的1/10—1/100。
-
数万个相关账户被清退。部分账号开始蒸馏还不到两小时,就等来了封号。
为了达到这个结果,Anthropic总共动用了三款「大杀器」:
引入preserved thinking(保留思考)后,新API账户一旦改动此前的上下文,原来的推理就不能照常复用。不同模型还分别限制了防护较弱的旧模型接读和跨组织访问。拿着一份草稿换个地方接着套话,没那么方便了。
Anthropic把Constitutional Classifiers的防护思路用到了反蒸馏上:通过两阶段分类系统,识别并拦截试图套取Claude完整推理的请求。这套方案的稳健程度,几乎和阻止Claude协助制造生物武器的防护相当。
反复套话会被限流,持续尝试的关联账号会被封。想靠换号继续碰运气,也要承担封号的损失。蒸馏这类被防护系统拦在Claude回答之前的请求,也要进行收费。
可以说,为了把这批「学生」赶走,Anthropic连数万亿token的付费流量都拒了。
更关键的,是拿到Claude答题前的思维链,看它怎么拆题、怎么尝试、又怎么发现自己想错了。
用完整推理和摘要分别训练模型,SWE-bench Verified成绩拉开差距
Anthropic自己做过对照实验,用Opus 4.8的对话记录训练一个预训练过的Claude模型。
在SWE-bench Verified编程测试上,学完整推理的拿到80.4%,只学摘要的只有71.8%,差了8.6个百分点。
于是,Anthropic早早把完整草稿收了起来,只给外界看推理摘要。
Claude照常认真做题,想抄作业的人只能拿到删减版。
为此,攻击者开始诱导Claude把藏起来的推理重新说一遍。
据官方披露,有实验室试过12000条请求,每一条都换一种骗法。只要试出一种有效写法,就能拿去批量复制。
独立研究展示了利用较弱模型提取较强模型推理的路径,实验早于本次防御更新
Anthropic此前记录过,一个代理网络同时管理超过2万个欺诈账号,背后还有规模更大的账号网络。
看起来是用户在排队提问,实际上是训练数据在批量生产。
可把草稿藏起来,还真没那么省心。Claude做长任务时,自己也得接着读。
为了让它接着上一轮想下去,受保护的推理会被保存,再交回模型。
用户看到的是一串加密内容,负责续写的Claude却必须能看懂。
强模型嘴严,攻击者就把它留下的推理交给同一家防护较弱的模型,诱导后者复述出来。
8月发布的一项独立研究展示过这类路径。加密算法没被破解,但秘密照样流出去,因为读过它的模型,能被哄着再讲一遍。
Fable 5.1和Opus 5.5引入preserved thinking,对8月31日及以后创建的API账户校验此前上下文。
前文被动过手脚,原来的受保护推理也就不能照常复用了。弱模型自然读不到结果。
到了Sonnet 5.5,推理还要认组织,只能由最初发起请求的组织接着用。
这些检查,把接力套话卡在了不同环节。囤了一堆账号,也不等于攒了一堆能接力抄作业的同学。
不仅如此,留在同一个账号里反复套话,也开始越来越贵。
Anthropic用两阶段分类器筛查请求,把真实提取记录交给内外部红队反复测试。
按Anthropic的评估,这套系统的稳健程度,已与阻止Claude协助制造生物武器的防护大致相当,误报率低于0.1%。
万万没想到,为了守住解题草稿,竟然用上了这个级别的防御!
官方估算,自有平台被提取的推理token在新防护上线后持续降低。图为对数刻度,朝下三角表示少到无法测量
于是,攻击者开始给请求换装,让Claude换一种语言交代推理,或把内容塞进特殊标签里,试图绕过检查。
反复套取推理的账号,会被收紧用量;持续尝试的关联账户,会被封。光有一套能骗过模型的话术还不够,账号和预算也得扛得住。
从9月24日起,生物、蒸馏攻击和前沿大模型开发这几个低误报率类别,恢复对拦截请求收费。
请求还没等到Claude回答,就被安全系统拒绝,也要付钱。
不过,系统一旦认错人,老老实实来干活的客户,也可能收到这张账单。
Anthropic承认,分类器仍会误拦正常请求,这些请求如今也可能被收费。
平台看到的是一笔拦截记录,撞上的开发者面对的却是:活没干成,钱还扣了。
就算没被误拦,开发者调整系统指令、清理旧工具结果或修改工具列表,也可能让原先的推理块失效。
在官方一项多轮编程测试中,思考强度开到最高,每个会话丢一次推理块,输出token就会多20.1%。
防盗措施是加强了,但对于开发者来说,就连整理对话记录,都得留心会不会让模型重新开工……
理论上,Anthropic还是愿意让Claude替你干活的。
可一旦你想让它教出自己的替代品,这位按token收费的老师,已经准备好了封号通知和账单。
参考资料:
https://www.anthropic.com/research/distillation-defenses
https://x.com/anthropicai/status/2109795898909950247
https://x.com/ClaudeDevs/status/2103170368794185758
编辑:摩西
