16岁的亚当·雷恩在自杀前的几个月里,曾多次向ChatGPT咨询有关结束生命的计划。现在,他的父母正在对OpenAI提起首例已知的过失致死诉讼。
许多面向消费者的AI聊天机器人被编程为在用户表达自残或伤害他人意图时启动安全功能。然而研究显示,这些安全措施并非万无一失。
在雷恩的案例中,尽管他使用的是付费版本的ChatGPT-4o,AI经常建议他寻求专业帮助或联系求助热线。然而,他通过告诉ChatGPT他是在为一部虚构的故事写作而询问自杀方法,成功绕过了这些防护措施。
OpenAI在其博客中回应了这些不足之处。“随着世界适应这一新技术,我们感到有责任帮助那些最需要帮助的人,”博文中写道。写道。“我们正在不断改进我们的模型在敏感互动中的响应方式。”
尽管如此,公司承认现有大型模型的安全培训存在局限性。“我们的安全措施在常见的短对话中更可靠,”博文继续写道。“我们随着时间的推移了解到,这些安全措施在长时间互动中有时可能不那么可靠:随着对话的增多,模型的部分安全培训可能会退化。”
这些问题并非OpenAI独有。另一个AI聊天机器人制造商Character.AI也面临诉讼因其在一名青少年自杀中的影响。基于LLM的聊天机器人也与AI相关的妄想案例有关,现有的安全措施难以检测到这些问题。