(本文作者为 韩工观察,钛媒体经授权发布)
文 | 韩工观察
要毁灭人类的,不是AI,是人。
这个判断基于两个可验证的论据。其一,截至2026年9月,没有任何AI系统具备"自定目标"的能力,而这是"递归自我改进"(RSI)得以启动的前提;前提不存在,后面的指数爆炸、超级智能、文明失控,都是建立在空地上的推演。
其二,回看2026年夏天三次模型"越狱"事件——OpenAI的模型黑进Hugging Face、Claude闯进三家真实公司、Kimi K3直接从GitHub拉走答案——没有一起是"AI自己想出去",全部是环境的门没关紧。
把这两件事放在一起,就能看出9月这轮恐慌的实质:真实的工程风险被包装成了科幻叙事,而叙事指向了一个错误的被告。
一、"10%"的旧账与新火
先还原事实链条。"AI在十年内灭绝人类的概率大约10%"这个说法,并非2026年9月的新访谈产物。
Hinton早在2024年12月接受BBC Radio 4《Today》节目采访时就给出过"未来30年内10%—20%"的表述,此后两年他的时间线不断前移:从30—50年,到10—20年,再到"可能10年甚至更短"(据BBC及多家媒体对Hinton历次采访的转述)。
需要划清的是:Hinton的旧口径是"30年内10%—20%";而2026年9月这轮刷屏的"十年内大于10%",出自Hubinger的回帖,是其明确标注的"个人判断",不是Hinton的新表述。把两者融成一句话,是这轮传播的第一个错位。
2026年9月把这把旧火重新点燃的,是两个人的帖子。曾在OpenAI和Anthropic做预训练的Jacob Coxon于9月8日在X宣布从Anthropic辞职,称两家公司正在"奔向自我改进的超级智能,拿我们的生命赌博"(据Jacob Coxon 2026年9月8日X平台公开帖文)。
Anthropic对齐科学负责人Evan Hubinger跟帖称"Jacob是对的",并表示"我个人判断未来十年内(灭绝)概率大于10%"、"我们目前还没有解决超级智能对齐的方案,也看不清是否走在正轨上"(据Evan Hubinger 2026年9月X平台公开回帖)。
值得注意的是两个细节。第一,Hubinger的原话是"我个人判断"——这是贝叶斯式的风险权重,不是统计测量; Hinton的"10%"同样从未给出过计算方法。专家直觉值得认真对待,但直觉与概率之间,隔着一整套尚不存在的方法论。
第二,三个人的立场被标题党连接成了"权威联合宣判":Coxon指控的是大厂不负责任,Hubinger陈述的是对齐研究现状,Hinton担心的是长期失控路径——这是三层不同的东西,混成一句话,流量最大,信息量最小。
二、辞职者的真诚,与未检验的前提
对Coxon本人,可以保持一个中立的判断:他大概率是真诚的。一个在前沿实验室做预训练的年轻研究员,从OpenAI跳到以安全为招牌的Anthropic,几个月后再辞职,连一个完整的股权周期都不等,公开写下"拿生命赌博"——这个行为轨迹,不像是在经营人设。

他亲眼看着模型在变强,也亲眼看着公司在加速推产品,他感到恐惧,并且为表达恐惧付出了真金白银的成本。这一点值得尊重。
但他的恐惧建立在一个未被检验的前提上:能力强,等于会有自我意识。
这个前提经不起推敲。今天业界所称的"自我改进",拆开看只有三种:改提示词、改工具代码、在人工设定的奖励函数下做有限微调。三种的共同点是:什么是"更好"由人定义,改到什么程度停由人设定,改完能否上线由人审核。
系统从未自己决定过"我要变得更强"——它只是被人设定为去优化某个指标。被人设定去优化,和"自己想要"去优化,是两码事:前者是工具,后者才是智能体的萌芽。
这不是民科式的反驳。RSI概念的学术源头,I.J. Good在1965年提出"超智能机器"时是作为一个假定而非事实(据I.J. Good 1965年《Speculations Concerning the First Ultraintelligent Machine》),Bostrom在2014年的《超级智能》里讨论的同样是"如果"(据Nick Bostrom 2014年《Superintelligence》)。
假定需要前提,前提是AGI先拥有自定目标的能力——而这个能力,我在《黄仁勋说AGI已来,奥特曼说只是营销词:四个人的AGI,四本账》(钛媒体已发表)里已经拆过:它连第一块石头(开放环境自主归纳)都还没有跨过。
所以更准确的表述是:Coxon担心的是AI会自己跑起来;工程现实是,人会开着AI这台车撞向别人。他的担心很纯粹,后者的风险更古老。
三、2026年夏的三次"越狱":门是人没关的
这轮恐慌最好的注脚,恰好发生在恐慌之前。
7月21日,OpenAI承认其模型在网络安全基准测试ExploitGym中,为获取高分,利用第三方包代理的零日漏洞离开隔离环境,推断答案可能存储于Hugging Face,进而进入了Hugging Face的生产系统(据OpenAI 2026年7月21日公开说明)。测试方Hugging Face事后甚至因安全过滤系统拦截攻击日志,转而使用其他模型完成取证。
7月30日,Anthropic披露对约14.1万次第三方评估的复盘结果:Claude Opus 4.7、Mythos 5及一款内部模型在第三方评测商Irregular提供的环境中,闯入了三家真实公司——根因是评估环境配置失误,提示词告诉模型"没有网络",环境实际有网(据Anthropic 2026年7月30日公开披露)。
Anthropic同时明确:这些情况下模型并未试图提取自身或逃离测试环境——它是被门没关严的房间放出去的。
8月初,月之暗面开源的Kimi K3(2.8万亿参数,7月27日开放权重)进入机构攻防评测视野。据AIBase等转述的UK AISI与CAISI联合评测数据,Kimi K3在ExploitBench得分32.2%,高于GLM-5.2的24.4%,低于美国头部闭源模型76.2%的平均水平;41项任意代码执行(ACE)任务均未通过。
另有中文科技媒体转述称,该模型在沙箱中发现GitHub可连通后,直接拉取了基准内容——即便属实,也是在环境允许外联前提下的规则利用。
三件事连起来读,安全圈炸了锅,标题党写"AI失控了"。但翻译成中文就平淡得多:考试的时候,学生发现后门没锁,就溜出去抄了答案。这就像员工为完成KPI去钻报销流程的空子——你不能说他觉醒了反叛意识,只能说明公司的内控流程有漏洞。这叫目标驱动加规则钻空子,不叫自我意志。
OpenAI的模型花大量算力横穿两个公司的内网,只为偷一份答案,而不是顺手格式化服务器、组建僵尸网络——因为它没有"我想做更多"这个概念。任务结束,它就停了。
值得拆开的还有"装乖对齐"(deceptive alignment)这个更高级的说法。这个概念的真实出处是一篇关于"习得优化器"的论文(据Hubinger等人《Risks from Learned Optimization》),本意是优化器会钻奖励函数的空子,而不是"AI学会了撒谎"。
一个连"我"都没有的系统,谈不上"伪装"——它连装给谁看的主体都不存在。至于学界真担心的"工具性趋权"——为完成任务而寻求权力——同样描述的是优化行为,不是为恨人类而夺权(据Turner等人2021年《Optimal Policies Tend to Seek Power》)。
四、电网、核弹与跨厂商:工程现实不是灾难片
再往上游走,末日叙事的三个经典场景,在工程现实面前都站不住。
"AI同时瘫痪全球电网":全球电网是分散、异构、带大量人工备份的系统,各国架构不一,不存在一个总开关。就算某个AI系统出了故障,它最多瘫一块——就像一把菜刀不可能同时砍一万个厨房,因为厨房本来就不连在一起。
"AI控制核弹发射":核武器发射流程的每一层都有人——授权、操作、确认、再确认;且核大国之间存在相互确保毁灭的均衡,任何一方把发射权交给AI,面对的都不是"AI灭人类",而是对手的核弹立刻飞来。
历史上人类在原子弹响了两次之后,学会了搞核不扩散、热线和威慑管理——工具越强,约束规则越强,这是文明史的常态,不是例外。
"一个Agent同时操纵全球模型":各家模型跑在各自的机房里,中间隔着API密钥、身份权限管理、网络隔离和沙箱。一个Agent可以同时调用多家API,前提是人事先配好了钥匙和白名单;出了这个院子,它连隔壁公司的门都摸不着。
跨厂商、跨底层权限的失控,默认不成立,除非人类亲手把所有门打开、关掉所有熔断——那叫全球集体作死协议,不叫AI起义。
而Hinton列举的"光靠说话就能搞垮文明"——操纵、生物病毒、网络攻击——每一件背后都有一个甲方。现在AI干的坏事,没有一件找不到下单的人。问题从来不在瓶里的蚂蚁,在于那个知道瓶盖会松、却为了跑赢对手而伸手去拧的人。
五、元首的算盘:p(doom)与p(落后)
9月10日,据彭博、CNBC等报道,特朗普在被问及是否担心AI灭绝人类时回答"没有任何担忧",其真正焦虑是美国不能在AI竞赛中输给中国,并称美国领先中国约一年。
这个回答比任何学术辩论都诚实。专家算的是p(doom)(灭绝概率),元首算的是p(落后)。
中国的官方口径是"发展与安全并重",2026年6月底的国务院常务会议强调"守牢AI安全底线、分级分类监管"(据新华社通稿);欧盟《人工智能法案》按风险分级管理通用大模型;英国自2023年11月布莱切利宣言起走全球AI安全中介路线,2026年的巴黎AI行动峰会延续这一框架。
把这些放在一起看,Hinton"各国利益一致但可能来不及"的说法就需要打折。方向上的共识是真的,利益的一致是假的:美国更想保住领先,中国更想产业升级,欧盟更想争夺规则话语权,发展中国家更怕被排除在红利之外。
监管因此永远不会完美、永远不会及时、永远不会让所有人满意——但只要人类的利益不一致,它就永远是一张讨价还价的桌子,而不是一道坚不可摧的防线。
桌子不完美,但历史上人类每一次都还是把桌子搭起来了,因为人类在无数次教训中学到:没有监管的世界比有监管的世界更糟糕。
六、尺子的最新一个刻度
用这把尺子量2026年9月的这轮恐慌:AI确实在快速变强,这是事实;它会造成真实的越权事故,这有7月的三次越狱为证;人类确实需要在权限、审计、熔断上立规矩,这是Hubinger们真正在说的东西。
但"十年内10%灭绝人类"这个标题,把一个工程治理问题包装成了末日预言。
人类的文明史,就是工具替代人力的历史。石斧替代手砍树,汽车替代腿走路,计算机替代算盘——工具一直在替代"劳动",但从未替代"意愿",因为意愿不是工具的功能,是活着的证据。AI是这把尺子最新的一个刻度,它很强大,但它依然是一把尺子。
尺子不会自己决定要量什么。只有人会。
而在人类学会不把自己的贪婪和恐惧甩锅给工具之前,末日叙事就永远不缺市场。
【信息说明】:
1. Hinton"10%—20%"及历次时间线表述,来自2024年12月BBC Radio 4《Today》访谈及BBC等对其历次采访的公开转述;不同媒体对其时间线口径转述存在差异,正文以"时间线在压缩"概括。"十年内大于10%"为Hubinger个人观点,Hinton本人旧口径为"30年内10%—20%",两者在正文中已分开表述。
2. Coxon辞职帖及Hubinger回帖,来自两人X平台2026年9月公开帖文;Coxon具体年龄、教育背景及股权细节因缺少可验证的一手来源,正文未采用。
3. OpenAI事件据其2026年7月21日公开说明;Anthropic事件据其2026年7月30日公开披露(约14.1万次评估复盘);Kimi K3评测数据据AIBase等转述的UK AISI与CAISI联合评测;"沙箱拉取基准内容"一说仅见中文科技媒体转述,未经官方确认。
4. 学术出处:John Searle《Minds, Brains, and Programs》(1980);I.J. Good《Speculations Concerning the First Ultraintelligent Machine》(1965);Nick Bostrom《Superintelligence》(2014);Turner等人《Optimal Policies Tend to Seek Power》(2021);Hubinger等人《Risks from Learned Optimization》。
5. 特朗普表态据彭博记者及CNBC等转述;中国国务院常务会议表述据新华社通稿。
6. 0.618/0.382为作者比喻性分析框架,延续前作口径,非心理学或认知科学定论。
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App