AI智能体亟需实时监测，气候反馈回路敲响警钟

10月29日，MIT Technology Review 旗下的工作日通讯《The Download》发布最新一期内容，聚焦两条看似不相干、实则共享同一底色的议题：一是AI智能体的实时监测，二是地球气候系统中的反馈回路。前者关乎人类能否看清自己创造的技术此刻正在做什么，后者关乎地球是否正在加速滑向更热的未来。而贯穿两者的，是对复杂系统失去可见性的共同焦虑。

从考试到上岗：AI治理的范式缺口

在当日的观点栏目中，来自Partnership on AI的Madhulika Srikumar与Claire Leibowicz联合撰文，提出一个紧迫主张：我们需要对AI智能体的行为进行实时监测。Partnership on AI是一家致力于推动AI治理最佳实践的非营利组织，其观点往往被视为行业风向标。

这一呼吁切中了当前AI治理的核心盲区。过去几年，围绕大模型的安全讨论高度集中在发布前的评估与基准测试上——模型在标准数据集上表现如何、是否存在偏见、能否通过红队测试。这套思路类似于让学生在毕业前参加一场标准化考试，用一次性的成绩来推断其长期表现。

然而，当AI从回答问题式的聊天机器人，进化为能够自主完成任务的智能体时，这套逻辑开始失效。智能体可以规划多步骤任务、调用浏览器与外部API、读写文件、在无人监督的情况下连续行动数小时甚至数天。它面对的是开放、动态、充满不确定性的真实环境，而非一个静态的测试集。一次错误的工具调用、一条被注入的恶意指令、一段意外触发的连锁操作，都可能在用户毫无察觉的情况下造成实际损害。

发布前的评估只能回答“它可能怎么做”，却无法回答“它此刻正在做什么”。

这正是两位作者强调实时监测的原因。监测不等于事后审计，也不等于事后追责。它要求系统在运行过程中持续记录智能体的决策路径、工具调用、外部交互与状态变化，并具备在异常发生时及时告警、干预乃至中断的能力。换言之，治理的重心需要从一次性准入，转向全生命周期的持续观察。

为什么实时监测如此困难

难点首先在技术层面。智能体的行为链条往往很长，中间步骤分散在模型推理、工具调用与外部服务之间，缺乏统一的日志标准；不同厂商的智能体框架接口各异，第三方难以低成本接入；当多个智能体协同工作时，责任边界更加模糊。

其次在激励层面。实时监测意味着更高的计算开销、更复杂的工程架构，以及可能暴露自身系统缺陷的透明度。对厂商而言，这些都不构成短期商业优势。现有监管框架多围绕模型发布环节设计，对部署后持续运行的动态行为缺乏明确要求，市场因而缺少自发投入的动力。

再次在定义层面。什么样的行为算异常？智能体在多大概率下偏离预期才应触发告警？误报带来的运营负担与漏报带来的安全风险之间如何权衡？这些问题尚无共识，却直接决定了监测系统能否真正落地。

值得注意的是，业界已在探索可行路径：可观测性工具开始从传统软件领域向AI系统迁移，行为日志、轨迹回放、运行时护栏等概念逐步进入产品；一些研究团队尝试用独立的监督模型对智能体行为进行在线审查。但这些实践仍零散，缺少统一标准与跨机构协作。

另一条警报：地球的自我强化循环

同一期通讯还关注了气候科学中一个令研究者不安的概念——气候反馈回路。与人类排放直接推动的增温不同，反馈回路指的是变暖所引发的变化，反过来又进一步加剧变暖的自我强化过程。

典型例子包括：北极永久冻土融化释放出封存已久的甲烷与二氧化碳；海冰与积雪消融降低地表反照率，使更多太阳能被吸收而非反射；亚马逊雨林与北方森林因干旱和火灾退化，削弱其碳汇能力；野火频发本身又成为新的排放源。这些机制并非孤立运作，而是可能相互叠加、彼此放大。

反馈回路真正的危险在于非线性与滞后性。系统的变化可能长期缓慢，却在越过某个临界点后骤然加速，而人类往往在事后才意识到拐点已经过去。这与AI智能体的风险结构惊人相似：两者都涉及多要素耦合、都存在难以预测的阈值，也都要求我们在损害发生之前就建立起足够的感知能力。

编者按：可见性才是治理的前提

把这两条新闻放在一起看，会发现它们指向同一个方法论命题：面对高度自主、快速演化的复杂系统，事前的静态评估与事后的损失统计都不足够，真正稀缺的是运行过程中的实时可见性。

对AI而言，这意味着把监测能力写进产品设计与监管要求：建立可互操作的行为日志规范，推动第三方独立审计，明确开发者在部署后的持续责任。对气候而言，这意味着加强对关键临界要素的长期观测与早期预警投入，不让科学监测成为最容易被削减的预算项。

技术能力的增长速度，往往快于我们理解其后果的速度。缩小这一差距，靠的不是更强的预测，而是更诚实的观察。

本文编译自 MIT Technology Review。