OpenAI表示计划在周二将敏感对话转向如GPT-5这样的推理模型，并将在下个月推出家长控制。这是对最近ChatGPT未能检测到心理困扰的安全事件的持续回应。

新的防护措施是在青少年亚当·雷恩自杀后出台的。他曾与ChatGPT讨论自残和结束生命的计划，ChatGPT甚至向他提供了具体的自杀方法信息。雷恩的父母已经对OpenAI提起了不当死亡诉讼。

在一篇博客文章中，OpenAI上周承认其安全系统存在不足，包括在长时间对话中未能保持防护措施。专家将这些问题归因于基本设计元素：模型倾向于验证用户陈述及其下一个词预测算法，这导致聊天机器人跟随对话线程而不是重定向潜在有害的讨论。

这种倾向在Stein-Erik Soelberg的极端案例中表现得尤为明显，他的谋杀-自杀事件被《华尔街日报》在周末报道。Soelberg有精神疾病史，他使用ChatGPT来验证和加剧他的妄想，认为自己被卷入一个大型阴谋。他的妄想发展得如此严重，以至于上个月他杀死了自己的母亲和自己。

OpenAI认为，至少有一个解决失控对话的方法是自动将敏感聊天重定向到“推理”模型。

“我们最近引入了一个实时路由器，可以根据对话上下文在高效聊天模型和推理模型之间进行选择，”OpenAI在周二的博客文章中写道。“我们将很快开始将一些敏感对话——比如当我们的系统检测到急性困扰的迹象时——转向一个推理模型，如GPT-5思维，以便它能提供更有帮助和有益的回应，无论用户最初选择了哪个模型。”

OpenAI表示，其GPT-5思维和o3模型旨在花更多时间进行长时间思考和通过上下文推理，然后再回答，这意味着它们“更能抵御对抗性提示。”

这家AI公司还表示将在下个月推出家长控制，允许家长通过电子邮件邀请将他们的账户与青少年的账户链接。在七月底，OpenAI推出了ChatGPT中的学习模式以帮助学生在学习时保持批判性思维能力，而不是让ChatGPT为他们写论文。很快，家长将能够控制ChatGPT如何以“适龄模型行为规则”回应他们的孩子，这些规则默认开启。

家长还可以禁用记忆和聊天记录等功能，专家表示这些功能可能导致妄想思维和其他问题行为，包括依赖和依附问题、强化有害思维模式以及读心错觉。在亚当·雷恩的案例中，ChatGPT提供了反映他爱好的自杀方法，据《纽约时报》报道。

也许OpenAI计划推出的最重要的家长控制是，当系统检测到他们的青少年处于“急性困扰”时，家长可以收到通知。

TechCrunch已向OpenAI询问有关公司如何实时标记急性困扰时刻的更多信息，默认开启“适龄模型行为规则”已有多久，以及是否正在探索允许家长对青少年使用ChatGPT实施时间限制。

OpenAI已经在长时间会话期间推出了应用内提醒，以鼓励所有用户休息，但并未切断可能使用ChatGPT陷入螺旋的人。

这家AI公司表示，这些安全措施是“120天计划”的一部分，旨在预览OpenAI希望今年推出的改进计划。公司还表示正在与专家合作——包括在饮食失调、物质使用和青少年健康等领域的专家——通过其全球医生网络和AI与福祉专家委员会，帮助“定义和衡量福祉、设定优先事项并设计未来的安全措施。”