为AI代理优化互联网，可能让所有人更糟

过去二十多年，互联网对访问者的分类极其简单：要么是人，要么是机器人。网站通过robots.txt、用户代理识别和验证码等手段，允许搜索引擎爬虫等自动化程序抓取内容，同时尽量阻挡恶意流量。这套“二元治理”模型支撑了搜索、比价、存档等大量服务，也构成了今天内容生态的基础秩序。

AI代理打破“人机二分”

但AI代理（AI agents）的普及正在让这一框架失效。与传统的确定性爬虫不同，AI代理能够理解任务、自主规划步骤，并以接近人类的方式浏览网页、填写表单、点击按钮。它们既不是纯粹的机器人，也不是真人，却同时具备两者的部分特征。MIT Technology Review作者James O'Donnell指出，网站若继续用“允许机器人/禁止机器人”的粗粒度规则来应对，要么误伤合法自动化服务，要么对AI代理敞开大门而失去控制。

更棘手的是，为AI代理优化互联网的尝试，可能产生显著的外部性。例如，网站为代理提供结构化数据接口、专用API或更宽松的访问权限，本意是提升自动化效率，却可能被滥用为大规模内容抓取、价格操纵或虚假互动的通道。普通用户则可能面对更频繁的验证码、更严格的登录限制，甚至被要求付费才能访问原本开放的内容。

“当你为一种新型访问者设计规则时，你实际上是在重新分配整个互联网的信任成本。”——行业观察

谁为“代理友好”买单？

从行业背景看，这一矛盾已有征兆。近年来，AI公司大规模抓取公开网页训练模型，引发内容创作者与出版商的强烈反弹，部分网站开始封锁AI爬虫或要求付费授权。与此同时，AI浏览器助手、自动购物代理和任务执行型代理不断涌现，它们需要读取页面、模拟交互，与传统反爬机制正面冲突。若网站为这些代理开辟“绿色通道”，攻击者也可能伪装成代理混入其中。

更深层的问题在于身份与权限的缺失。当前互联网缺乏一套细粒度机制，来区分“受信任的AI代理”“恶意自动化程序”和“普通人类用户”。为代理优化体验，往往意味着放宽某些检查，而这会削弱对垃圾信息、欺诈和隐私侵犯的防御。最终，安全成本被转嫁给普通用户：更多的验证步骤、更少的内容可及性、更差的浏览体验。

编者按：需要“代理感知”的治理框架

解决这一问题，不能靠简单地把AI代理归入“好人”或“坏人”。更可行的方向是建立代理感知的治理框架：可验证的代理身份、细粒度的权限分级、基于行为的动态风控，以及内容提供方与代理开发者之间的明确契约。否则，为AI代理让路的技术优化，很可能演变为对普通用户的隐性征税。

互联网的开放性与安全性本就依赖脆弱的平衡。AI代理不是第一个挑战这一平衡的技术，也不会是最后一个。但若继续用二元的旧规则应对三元的新现实，受损的将不只是某类用户，而是整个网络的信任基础。

本文编译自MIT Technology Review