AI末日危机：顶尖实验室的警告是真是假？

当构建最强大AI系统的人开始公开谈论“人类灭绝”，这件事本身就值得认真对待。MIT Technology Review的一场圆桌讨论正是从这个问题出发：全球领先AI实验室的员工表示，先进AI确实有可能毁灭人类。他们是正确的吗？还是这不过是新一轮的危言耸听与炒作？

主持这场对话的是该刊执行主编Niall Firth，与谈者包括高级AI编辑Will Douglas Heaven和AI记者Grace Huckins。三人试图把“AI末日”这个已被过度使用的词拆开，看看里面究竟装着什么。

从“存在风险”到内部备忘录

把时间拨回2023年3月，包括图灵奖得主与多家AI公司高管在内的上千人签署公开信，呼吁暂停训练比GPT-4更强的模型六个月。同年5月，AI安全中心（CAIS）发布一页声明：“缓解AI灭绝风险应成为全球优先事项”，签名者中不乏OpenAI、DeepMind、Anthropic的高层。此后，“p(doom)”——即个人估计AI导致人类灭绝的概率——成了硅谷内部流行的口头禅，有人给出5%，有人给出50%，甚至更高。

更值得注意的是这些警告的发声者身份。他们大多不是外部批评者，而是正在亲手制造这些系统的人。这种“内部人警告”一方面强化了可信度，另一方面也引发了另一种质疑：如果这些人真的相信，为什么还在继续推进？

末日论的思想谱系

AI灭绝论并非凭空出现。它源自有效利他主义（Effective Altruism）与理性主义社区，核心图景是一种“不对齐”的超级智能：能力远超人类，目标却与人类福祉不一致。在这套叙事里，AI不是工具，而是一个可能挣脱控制、并最终把人类当作资源或障碍来处理的新主体。

批评者则指出，这类论证高度依赖思想实验与类比，缺乏可验证的经验证据，并且往往把复杂的社会技术问题简化为单一的“对齐”技术问题。他们提醒，真正的危险也许不是某个突然觉醒的超级智能，而是现有系统在现实中已经造成的伤害。

是警钟，还是营销与免责

怀疑论者的论点大致有三。其一，末日叙事为实验室带来了巨大的关注度、人才吸引力与监管话语权；其二，把风险推向遥远的“超级智能”，会转移公众对当下真实危害的注意力——算法偏见、隐私侵蚀、数据劳工剥削、错误信息扩散；其三，谈论灭绝有时是一种责任豁免，仿佛只要最终目标足够宏大，过程中的伤害就可以被容忍。

“如果我说我的产品可能毁灭世界，那我既是那个警告你的人，也是唯一能救你的人。”——这是批评者对AI末日论的经典概括。

支持者则反驳：正因为风险极端且不可逆，哪怕概率很低，也值得投入巨大资源去防范。这与核威慑、流行病防控的逻辑并无二致——我们不会因为核战争没有发生，就说当年的警惕是多余的。

真正的问题不在于相信谁

这场圆桌讨论并未给出简单结论，但它揭示了一个更重要的事实：无论“灭绝论”是否成立，它已经深刻改变了AI治理的议程设置。它把安全与对齐从边缘话题推到了实验室的核心KPI，也催生了一批专注AI安全的初创公司与研究机构。

与此同时，围绕“该不该放慢”的争论正在撕裂行业。加速主义者认为，停下来只会让不负责任的玩家抢先；安全派则认为，先造出来再想办法控制，本身就是一场豪赌。两种立场背后，其实是对同一问题不同的风险容忍度。

对普通读者而言，最理性的姿态或许是：既不因“灭绝”二字而恐慌，也不因它听起来夸张就全盘否定。真正需要追问的是——这些警告背后有哪些可检验的假设？谁在为哪种叙事获益？以及，监管者能否在不扼杀创新的前提下，把讨论从口号拉回到可执行的规则上。这些问题，比“AI会不会终结人类”更接近我们当下的现实。

本文编译自MIT Technology Review