AI幻觉险些触发美军行动：大模型军用风险再敲警钟

编者按：当生成式AI进入军事决策辅助系统，一次看似无害的“胡编”可能不再是聊天机器人的笑话，而会变成指挥链上的错误输入。TechCrunch报道的这起“AI幻觉险些触发美军行动”事件，正是一个刺眼的警示。

一次误判，为何能逼近军事行动

据TechCrunch报道，美国军方一次潜在行动之所以被推到边缘，源头并非传统情报失误，而是大语言模型产生的“幻觉”。所谓幻觉，是指模型在缺乏可靠依据时，仍以流畅、自信的语气生成看似合理却错误的内容。它可能虚构目标位置、编造事件经过、误解一段截获通信，甚至把不存在的威胁描述得煞有介事。

在民用场景，幻觉可能带来错误摘要、虚假客服回答或法律引用事故；在军事场景，错误会被放大。情报分析、态势感知、任务规划、翻译与简报生成，都可能在时间压力下依赖AI输出。一旦操作员把模型生成的“建议”误当成已验证事实，误判就可能沿着指挥链向上传递。

大模型为何“自信地犯错”

大语言模型的底层机制是概率预测：它根据上下文生成最可能的词序列，而不是查询一个绝对可靠的事实数据库。因此，模型并不天然区分“我知道”和“我在猜”。当训练数据不足、提示词模糊、上下文冲突或任务超出能力边界时，幻觉便会出现。

更麻烦的是，模型输出往往语言流畅、结构完整，容易让人产生“它已经核实过”的错觉。这种自动化偏见在高压、高信息负载环境中尤其危险。军方人员如果缺乏AI素养，就可能把不确定性极高的生成文本，当成可直接执行的情报产品。

“服役人员必须理解大语言模型固有的不确定性。”——GovAI研究学者在报道中警告。

这句警告的核心不是禁用AI，而是要求使用者知道：模型给出的不是事实本身，而是对事实的概率性模拟。

军事AI加速，治理却未必同步

过去几年，美军加速把AI嵌入情报、后勤、网络与指挥控制。从Project Maven到联合全域指挥控制，再到强调快速部署的Replicator计划，大模型和机器学习被寄望于缩短决策周期、处理海量数据。但速度与可靠性之间存在天然张力：决策越快，留给人类核查错误的时间越少。

五角大楼已发布AI伦理原则，强调责任、公平、可追溯、可靠与可治理。然而，原则落地为工程规范并不容易。模型置信度如何表达？何时必须由人类复核？错误输出如何追溯？多模型交叉验证是否足够？这些问题在采购、部署和训练环节都还没有统一答案。

GovAI等研究机构长期关注AI治理。其学者提醒，AI系统的不确定性应被明确传达给终端用户，而不是藏在漂亮界面之后。对军人而言，这意味着培训中必须加入AI局限、幻觉识别和验证流程，而不是只教如何点击按钮。

如何降低“AI幻觉触发行动”的概率

首先，技术层面需要不确定性校准。模型应输出置信度、引用来源，并在证据不足时明确说“不确定”。其次，流程层面应坚持“人在回路”，关键情报和行动建议必须经过独立验证，不能由单一模型闭环决定。再次，组织层面要建立红队测试和事故复盘机制，把幻觉视为可预期的系统风险，而非个别模型缺陷。

此外，多源交叉验证仍然不可替代。卫星图像、人力情报、信号情报和传统分析应与AI输出相互印证。若多个来源无法支持同一结论，系统就应默认降级，而不是让流畅文本主导判断。

结语：真正的风险不是AI“造反”，而是人类过度信任

这起事件最值得警惕之处，不是AI突然拥有自主意识，而是人类在复杂系统中可能过度信任一个会犯错的黑箱。军事行动关乎生命与战略稳定，任何“几乎触发”都应以最高标准调查和整改。AI可以成为强大的参谋工具，但前提是使用者始终记得：它输出的每一句话，都需要被验证。

本文编译自TechCrunch。