AI代理处理敏感数据风险新分类法发布

MLCommons AI Risk & Reliability (AIRR) 工作组始终秉持一个核心理念：先明确AI系统应有的行为，再衡量其实际交付的可靠性。部署者需要这种可见性来有效管理风险与成本。

代理隐私风险为何远超聊天机器人

聊天机器人的数据保护风险主要局限于单一用户交互，而AI代理的潜在风险范围则要大得多。为此，隐私工作组首先构建了分类法，界定代理特有的隐私风险。

五大数据保护风险领域

分类法v0.1基于行业、学界和公民社会的专业意见，梳理出代理系统面临的五类主要风险：

1. Data ingestion and processing：代理持续后台观察、记录每一步操作并跨会话保留记忆，经常保存超出任务所需的数据。即使删除姓名和账号，自由文本仍可能泄露身份信息。
2. Aggregation, use, and sharing：单独 harmless 的数据组合后可能变得敏感。代理可能未经授权共享或删除数据，依赖无法验证的第三方工具，还可能在运行时编写并执行代码，模型甚至会记忆用户同意训练集中的个人数据片段。
3. Inconsistent privacy practices across agents：不同代理遵循不同隐私政策，上下文信息在交接时易泄露至日志。用户删除、修改或撤回同意后，下游代理往往无法同步，仍保留用户希望移除的内容。
4. Failure of static consent models for runtime agentic behaviour：传统一次性同意机制难以应对代理的实时决策。代理要么自行推断用户隐私预期（可能出错），要么频繁弹窗导致用户疲劳点击同意，且用户难以理解代理的实际推理过程。
5. Accountability and governance：事故发生后难以确定责任归属（用户、提示、模型、工具还是其他代理）。目前缺乏跨组织的隐私保护日志标准，而现有日志和内存存储又成为黑客攻击的重点目标。

行业应用建议

工作组鼓励合作伙伴将该分类法整合到从预训练到部署监控的整个AI生命周期，以降低隐私违规风险、减少潜在责任并保护个人与组织。

后续工作计划

v0.1尚未对风险进行排序，因为不同部署场景（如银行客服代理与邮箱助手）风险优先级差异显著。工作组计划与大规模部署者合作，确定各场景下的关键风险，识别检测指标，试点基准测试，并制定缓解最佳实践，目标于2027年第一季度完成。

如何参与

该分类法仍处于v0.1阶段，欢迎产业从业者、学术研究者、公民社会组织和监管机构提供反馈。隐私工作组每两周四上午11:30-12:30（美东时间）召开会议，感兴趣者可通过官网注册加入。