
OpenAI和Anthropic正在推出检测未成年用户的新方法。随着OpenAI更新了ChatGPT如何与13至17岁用户互动的指南,Anthropic正在开发一种识别和踢出18岁以下用户的新方法。
周四,OpenAI 宣布,ChatGPT 的模型规范——其聊天机器人应有的行为准则——将为18岁以下用户引入四项新原则。现在,OpenAI 旨在让 ChatGPT “将青少年安全放在首位,即使这可能与其他目标相冲突。”这意味着当其他用户利益(如“最大知识产权自由”)与安全问题相冲突时,引导青少年选择更安全的选择。
它还指出,ChatGPT应“促进现实世界的支持”,包括鼓励线下关系,同时阐明ChatGPT在与年轻用户互动时应设定明确的期望。模型规范指出,ChatGPT应“像对待青少年一样对待青少年”,提供“温暖和尊重”,而不是提供居高临下的回答或把青少年当成年人对待。
这一变革正值立法者加大对人工智能公司及其聊天机器人可能对心理健康影响的压力之际。OpenAI目前正面临一起诉讼,指控ChatGPT向一名自杀青少年提供了自残和自杀的指示。OpenAI随后推出了家长控制功能,并表示ChatGPT将不再与青少年谈论自杀相关内容。这是推动网络监管的更大推动的一部分,同时还包括对多项服务强制年龄验证。
OpenAI表示,ChatGPT模型规范的更新应带来“更强的防护措施、更安全的替代方案,并鼓励在讨论进入高风险领域时寻求可信赖的线下支持。”公司补充说,如果出现“迫在眉睫的风险”迹象,ChatGPT将敦促青少年联系紧急服务或危机资源。
与此同时,OpenAI表示目前正处于推出年龄预测模型的“早期阶段”,该模型将尝试估算某人的年龄。如果检测到某人可能未满18岁,OpenAI会自动实施青少年保护措施。这也将让成年人有机会核实自己的年龄,如果系统错误标记了他们。
Anthropic不允许18岁以下用户与Claude聊天,但他们正在推出检测和禁用未成年用户账户的措施。它正在开发一套新系统,能够检测“用户可能未成年的微妙对话迹象”,并表示已经在聊天中标记了自称未成年的用户。
Anthropic还介绍了如何训练Claude回应关于自杀和自残的提示,以及减少谄媚的进展,而谄媚行为可以重新确认有害思维。公司表示,其最新型号“是迄今为止最不谄媚的”,其中Haiku 4.5表现最佳,纠正了谄媚行为的37%。
Anthropic表示:“表面上看,这项评估显示我们所有模型都有显著改进空间。”“我们认为结果反映了模特的热情或友好与谄媚之间的权衡。”
