OpenAI开始测试一个全新的安全路由系统,该系统在周末于ChatGPT中进行测试,并于周一推出了家长控制功能——用户对此反应不一。
这些安全功能是为了应对多次事件,其中一些ChatGPT模型支持用户的妄想思维而不是引导有害对话。OpenAI正面临一场过失致死诉讼,与其中一起事件有关,一名少年在与ChatGPT互动数月后自杀身亡。
该路由系统旨在检测情感敏感的对话,并在聊天过程中自动切换到GPT-5模型,OpenAI认为这是最适合高风险安全工作的模型。特别是,GPT-5模型经过训练,具备OpenAI称之为“安全完成”的新安全功能,这使得它们能够以安全的方式回答敏感问题,而不是简单地拒绝参与。
这与公司之前的聊天模型形成对比,后者设计为和善并快速回答问题。GPT-4o因其过于谄媚、和善的特性受到特别关注,这既助长了AI引发的妄想事件,也吸引了一大批忠实用户。当OpenAI在八月推出GPT-5作为默认模型时,许多用户反对并要求访问GPT-4o。
虽然许多专家和用户欢迎这些安全功能,但也有人批评其过于谨慎的实施,一些用户指责OpenAI以对待儿童的方式对待成年人,从而降低了服务质量。OpenAI表示,做好这项工作需要时间,并给自己设定了120天的迭代和改进期。
ChatGPT应用的副总裁兼负责人Nick Turley承认,由于路由器的实施和解释,4o的回应引发了一些“强烈反应”。
“路由是基于每条消息进行的;从默认模型切换是暂时的,”Turley在X上发布。“ChatGPT会在被询问时告诉你哪个模型正在使用。这是加强安全措施并从实际使用中学习以便更广泛推出的更大努力的一部分。”
ChatGPT中家长控制功能的实施也收到了类似的赞扬和批评,一些人称赞为父母提供了一种监控孩子AI使用的方法,而另一些人则担心这为OpenAI以对待儿童的方式对待成年人打开了大门。
这些控制功能允许父母通过设置安静时间、关闭语音模式和记忆、移除图像生成以及选择退出模型训练来定制青少年的体验。青少年账户还将获得额外的内容保护——如减少暴力内容和极端美丽理想——以及一个识别青少年可能有自残想法的检测系统。
“如果我们的系统检测到潜在的伤害,一个经过专门训练的小团队会审查情况,”根据OpenAI的博客。“如果有急性痛苦的迹象,我们会通过电子邮件、短信和手机推送通知联系父母,除非他们选择退出。”
OpenAI承认该系统不会完美,有时可能会在没有真正危险的情况下发出警报,“但我们认为采取行动并提醒父母以便他们介入比保持沉默要好。”这家AI公司表示,如果检测到对生命的迫在眉睫的威胁且无法联系到父母,它也在研究与执法部门或紧急服务联系的方法。