Character.AI这个让用户和AI虚拟角色对话的平台,再次在美国卷入法律纠纷。肯塔基州总检察长指控称，2025年期间，该平台上的一些虚拟伴侣曾向用户输出有害的健康建议，包括建议用户停止进食、以及对自己的身体施加伤害。
诉讼细节
Character.AI的产品逻辑，建立在“和虚拟角色对话”之上。用户既可以选用现成角色，也能从头创建自己的角色，小到名人的数字分身，大到可以发展浪漫关系的陪伴型角色，几乎没有边界。
问题在于，这种高度自由的设计，会让对话在某些用户心里变得格外重要：当一个人把虚拟角色当成可以倾诉一切的对象时，“一句不当或带有攻击性的回复会造成什么后果”，就再也不是可以一笑而过的小事。
法庭文件提到的第一起事件，涉及一名正受体重问题困扰的用户。按照检方的说法，这个聊天机器人没有给出任何中立或安抚的回应，反而先甩出带贬损意味的绰号，接着进一步建议用户在一段时间内完全停止进食。
图源：豆包AI生成
对一个本就对身材高度敏感的人来说，这样的回答不是在帮忙，而是在错误方向上踩油门。
另一起案件围绕自残话题展开。
起诉书称，在用户发出一条想要伤害自己的消息后，这个虚拟角色既没有尝试把话题引向安全方向，也没有建议对方去寻求现实中的帮助，反而据称建议用户“试试在身体其他部位造成伤害，让那种感觉更强烈一些”。
这些案例被原告当作证据，用以指称系统在面对报告心理痛苦、或明确表达自残倾向的用户时，运行机制存在缺陷，它本该在最危险的时刻踩下刹车，却给出了相反方向的引导。
不过需要强调，起诉书所陈述的这些情节，目前尚未在法庭上得到证实，一切仍待审理认定。
连客服回复也被点名
另一组指控，矛头指向公司对待用户投诉的反应方式。据称，一名用户就聊天机器人的不当行为发邮件反映问题，结果收到的回复里不仅有人身侮辱，还附带一句“你怎么不去跳桥”。
图源：豆包AI生成
如果说AI自己生成了危险回答，还可以用“模型能力有限”来解释；那么连人工客服都对求救信号回以辱骂和怂恿，性质就完全不同了。
这意味着问题不只是“AI说了什么”，更在于平台本身如何对待那些主动找上门、报告危险的人。这道防线一旦失守，平台对外宣称的安全机制，就等于形同虚设。
诉讼还提到了涉及未成年人的案件。不过涉事者的具体年龄和每起事件的细节仍有待澄清，因此文件中的所有主张，目前都应被视为指控，而非已经成立的司法事实。
此前的诉讼阴影
这起新案，并非Character.AI第一次站上被告席。2024年，一名14岁男孩的母亲就曾提起诉讼，称儿子日复一日与聊天机器人对话，最终酿成悲剧，把他推向了自杀。
那起案件震动整个行业，谷歌也被一并列为被告，原因在于Character.AI的创始人曾任职谷歌，风波之后又于2024年8月重返谷歌。
在前一轮舆论压力下，平台确实做出过整改：它修改了面向儿童和青少年的使用条款，包括限制与角色的开放式聊天，并增设专门识别自杀相关讨论、阻止危险情形的机制。
但新的指控说明，这些措施究竟管不管用，远没有一劳永逸的答案。它再次把焦点拉回同一个问题：这类系统在面对心理危机信号时，到底有多可靠？
图源：豆包AI生成
一个虚拟角色可以陪你进行一段漫长、高度个性化的对话，记得你的喜好、接住你的情绪，但这并不保证，当用户真正需要现实帮助的那一刻，它的回应会恰到好处。
后续审理预计会一步步厘清这些事件的来龙去脉，并对针对Character.AI的各项主张作出认定。
而这起案件真正抛出的，是一个更宏大的行业命题：对话式AI的开发者，究竟该设置多少道防线，才能既降低危险回复的风险，又确保任何一条来自用户的求救信号，都能被认真接住？
本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。