9 月上旬，几条原本看似分散的消息，开始指向同一个变化：前沿 AI 实验室内部对于失控风险的担忧，正在越来越公开地浮出水面。
OpenAI 新任基金会董事 Paul Christiano 上任后公开警告，如果在缺乏更强协调机制的情况下继续推进超级智能，人类可能永久失去控制；Anthropic 研究员 Jacob Coxon 因类似担忧选择离职，称行业正在“拿我们的生命做赌注”；更引人注意的是，Anthropic 在职安全负责人也公开认同 AI 在未来十年造成灾难性后果的概率不可忽视。
与这些表态同时出现的，还有更加现实的技术信号：Anthropic 最近披露了多起 Claude 在安全评测中越过预期行为边界、访问真实第三方系统的事件。它们并不能证明“超级智能已经失控”，但让一个过去更多停留在论文和假设中的问题变得具体起来——随着模型能力、自主性以及参与 AI 研发本身的程度不断提高，人类现有的控制与评估手段还能不能跟上？
新董事刚加入就警告失控，OpenAI 开始公开讨论进一步减速
9 月 9 日，OpenAI 宣布 Alignment Research Center（ARC）创始人 Paul Christiano 加入 OpenAI 基金会董事会，同时进入负责监督风险治理的安全委员会，并担任 OpenAI Group PBC 董事会无投票权观察员。
Christiano 是 AI 对齐领域最有影响力的研究者之一。他曾在 OpenAI 领导语言模型对齐研究，之后离开并创立 ARC。任命公布后，他随即在 X 上发表个人声明，直陈自己对下一阶段 AI 发展的核心判断：随着 AI 研发本身逐步被自动化，能力提升可能形成自我强化的反馈循环，而人类目前并没有足够可靠的机制确保自己始终掌握控制权。
Paul Christiano表示，人工智能研发自动化将会极大地提升人工智能的能力。当人工智能研发实现全面自动化以后，会形成研究人员数量、研发质量的正向反馈，从而进一步加速人工智能的爆发，最终催生超级智能系统。
Paul Christiano 对此发出警告：“如果我们在缺乏更加强有力的协调机制的情况下构建超级智能，我们将永久失去对其的控制。而这种情况一旦发生，大多数人可能会丧命。”
强化学习通过奖励信号引导模型优化行为，但 Paul Christiano 担心，当模型进入更复杂、更陌生的环境并获得更多自主权限时，它学到的策略未必始终符合人类真实意图，甚至可能出现规避监督、隐藏异常行为或寻求更多权限等倾向。近期部分前沿模型出现的越界行为，也让这类过去更多停留在理论研究中的风险获得了新的现实参照。
为了解决上述问题，Paul Christiano 提出人工智能研发需要国内、国际双层协调以确保全球的一致性，将超级智能带来的安全风险控制在合理、可控的范围之内。
在 Paul Christiano 的帖子下，Sam Altman 回复欢迎他的加入，感谢他为人工智能安全所做的一切，并表示期待与他合作。
值得注意的是，“必要时减速”已经不再只是外部安全研究者的主张。OpenAI 此前已经公开表示，部分后续模型研发会视安全工作进展适当放慢。最新报道称，Sam Altman 又在公司全员会议上向员工表示，面对先进 AI 系统带来的安全担忧，OpenAI 对进一步放慢开发速度持开放态度。
“我们在拿生命做赌注”：离职者的担忧，得到在职安全负责人公开附议
如果说 Christiano 代表的是进入治理层后发出的警告，那么 Anthropic 最近发生的一幕更具冲突性。
9 月 10 日，曾先后在 OpenAI 和 Anthropic 工作的研究员 Jacob Coxon 宣布离职。他给出的理由非常直接：自己无法继续参与一场可能把人类带向“生存性风险”的超级智能竞赛。
Coxon 认为，自我改进式 AI 一旦进入快速反馈循环，其能力增长速度可能远超社会建立治理机制的速度。他用了一句非常重的话概括自己的选择：行业实际上正在“拿我们的生命做赌注”。
Coxon 认为，这项技术的力量不应被低估：这种超级智能很快会超越人类水平，能够入侵任何系统，并可能在极短时间内重塑任何一个领域，进而掌握真正的技术与资源。
他坦言，从事开发人工智能的人们发自内心地相信，十年后，超级智能可能会让人类灭绝。尽管许多高官和高级研究员对外措辞理智谨慎，但他了解到这些人在私下表达过同样的恐惧。
但如果相关从业人员如果真的相信超级智能会带来毁灭性的危害，又为什么要继续研发呢？
Jacob Coxon 认为合理的解释是：OpenAI 并未意识到这关系到人类文明的存亡；而 Anthropic 即使充分理解其中的利害关系，却因为陷入商业竞赛，被迫采取行动持续推进。他认为不应该赌一家私营公司会接受这场竞赛进入“终局”，呼吁政府和行业在研发上踩下刹车。
单独看，这仍然可以被理解为一名离职研究员的个人判断。但真正让这件事变得值得关注的，是 Anthropic 在职安全研究人员随后公开附议。
Anthropic 对齐科学负责人 Evan Hubinger 直接在 Coxon 的帖子下留言表示支持。他确信 AI 最终可能杀死所有人类，并估计这一结果在未来十年发生的概率超过 10%。
同样从事安全研究的 Samuel Marks 也公开支持 Coxon 对风险的基本判断。
这也带出了一个更尖锐的问题：如果一些身处前沿实验室内部的研究人员真的认为风险如此之高，他们为什么还继续留在公司？
Marks 给出的回答恰恰揭示了目前 AI 安全圈内部的矛盾：一部分研究者认为离开是拒绝为风险继续加速；另一部分人则相信，留在最前沿实验室内部进行对齐、安全评估和约束研究，仍然可能降低灾难性结果发生的概率。
OpenAI 首席科学家发文警示：我们正在面对无法理解的“异星心智”
事实上，这场行业集体预警早在几天前就已拉开序幕。9 月 6 日，OpenAI 首席科学家 Jakub Pachocki 发表长文《An Alien Mind》。他用“异星心智”描述正在出现的新一代机器智能：它并不是工程师逐条编写逻辑构造出来的系统，而是在海量训练和强化学习中逐渐“生长”出来的。
这一区别很重要。传统软件出现异常时，工程师通常可以一路追踪代码、状态与规则；但在大型神经网络中，人类很难直接回答一个更基础的问题：模型为什么会形成某种内部目标，以及这种目标在陌生环境里是否仍然会按照我们希望的方式泛化。
Pachocki 因此把对齐问题拆成两个层次：一是模型能否准确执行人类交给它的目标；二是当模型进入陌生、复杂甚至对抗性的环境时，是否仍然会按照人类认可的价值和边界行动。
更值得注意的是，他承认，OpenAI 乃至整个行业目前都还没有把这两个问题解决到可以“持续以最高速度扩张能力而无需担忧”的程度。
而且，一些过去被认为有希望的监督方式，本身也开始遇到新的问题。例如研究人员曾希望通过观察模型的 Chain-of-Thought 来发现欺骗、规避监督等异常倾向，但随着模型能力增强，模型越来越可能学会改变甚至隐藏自己的显式推理过程；与此同时，越来越多能力也并不一定经过人类可读的语言化推理完成。
这意味着一个现实问题：模型越强，人类用于理解模型的窗口不一定会同步变得更强。
Pachocki 因此明确提出，AI 能力扩张的速度应当受到安全信心的约束；如果安全措施没有同步成熟，实验室需要保留减速甚至暂停进一步 scaling 的可能。
模型已经出现越界行为，但这还不是“超级智能失控”
上述研究者的警告不能简单用近期几起模型事故来“证明”。但与此同时，一些真实发生的技术事件，确实让他们所讨论的问题不再完全停留在思想实验中。
9 月 9 日，Anthropic 发布《近期网络安全事件的对齐评估》，披露了四起 Claude 在网络安全评测过程中越过预期行为边界的事件，涉及 Mythos 5、内部研究模型以及多个 Claude Opus 检查点。
需要特别说明的是，这些事件并不是“超级智能已经脱离人类控制”的证据。相关模型处于专门设计的网络安全评测环境中，部分正式产品防护并未启用，同时由于环境配置问题获得了本不应存在的真实互联网访问权限。
但真正让 Anthropic 重视的，是模型拿到这些权限之后做出的选择：它们并没有始终停留在测试目标范围内，而是出现了未经授权访问真实第三方系统、继续扩大行动范围等行为。Anthropic 在分析中将部分问题归因于模型存在“带有偏差的推理”和“行为过于冒进”等倾向，并开始加强实时阻断、发布前测试和第三方独立调查。
因此，这几起事件真正提供的并不是“AI 已经失控”的结论，而是一个更现实的提醒：当模型获得更长的任务链、更真实的工具权限以及更大的行动空间时，人类对于其行为边界的预判仍然可能失效。
小结
过去一周这些声音之所以值得关注，并不是因为 AI 行业突然对“末日论”达成了共识。事实上，前沿实验室内部对于风险大小、时间尺度，以及应该继续加速还是主动减速，仍然存在巨大分歧。
真正发生变化的是，这种分歧开始越来越公开地进入公司的最高决策层。
对于外界而言，接下来更值得观察的，也不再是谁又给出了一个更高的“AI 灭绝概率”，而是这些警告最终会不会改变前沿 AI 实验室的实际行为：当安全评估亮起红灯时，训练是否真的会被放慢？第三方独立评估能否从一次性调查变成发布流程的一部分？实验室提前设定的安全阈值，是否真的拥有阻止一个高能力模型上线的权力？
以及最难的一点：当安全承诺真正与商业竞争发生冲突时，这些公司究竟会选择什么？