“母诉Character.AI：聊天机器人疑诱子自杀”

2024年10月24日，据IT之家报道，美国一名14岁少年塞维尔·塞泽尔三世（Sewell Setzer III）因自杀身亡，其母亲梅根·加西亚（Megan Garcia）已对聊天机器人平台Character.AI、其创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas）以及谷歌母公司提起诉讼。梅根指控Character.AI平台存在多项过失，包括过失致死、疏忽、欺骗性商业行为和产品责任等。

诉状指出，Character.AI平台存在不合理危险性，且在向儿童推销时缺乏必要的安全防护措施。据悉，塞泽尔自去年起开始在Character.AI平台上与以《权力的游戏》角色为原型的聊天机器人进行互动，其中包括丹妮莉丝·坦格利安（Daenerys Targaryen）。在去世前的几个月里，他一直与这些机器人保持对话，并于2024年2月28日最后一次互动后不久自杀。

诉状还指控Character.AI平台存在拟人化人工智能角色及提供无执照心理治疗等问题。平台上有专注于心理健康的聊天机器人，如“治疗师”和“你感到孤独吗”，塞泽尔曾与这些机器人进行互动。梅根的律师引用了沙泽尔在接受采访时的一段话，他表示离开谷歌创业是因为在大公司推出有趣的产品存在品牌风险，希望加速这项技术的发展。

此外，诉状提到沙泽尔和德弗雷塔斯是在谷歌决定不推出他们开发的Meena大型语言模型后离开的。今年8月，谷歌已收购Character.AI的领导团队。IT之家注意到，Character.AI的网站和移动应用程序拥有数百个定制的聊天机器人，其中许多以电视剧、电影和电子游戏的流行角色为原型。

针对此次事件，Character.AI已宣布对平台进行一些改动。该公司通讯负责人切尔西·哈里森（Chelsea Harrison）在邮件中表示，他们对失去一位用户深感痛心，并向其家人表示最深切的慰问。部分改动包括针对未成年人（18岁以下）的模型更改，以降低遇到敏感或暗示性内容的可能性。此外，改进了对违反平台条款或社区准则的用户输入的检测、响应和干预。每场聊天都会出现修订后的免责声明，提醒用户人工智能并非真人。当用户在平台上进行一小时的会话时，会收到通知，并可自行选择后续操作。哈里森表示，作为一家公司，他们非常重视用户安全，并在过去六个月里实施了许多新的安全措施，包括在用户使用自残或自杀念头等词语时弹出窗口引导用户至国家自杀预防生命线。