您尚未登录账户
您的企业账号申请正在审核中
FTC对Meta、OpenAI等公司的AI聊天机器人伴侣展开调查
FTC于周四宣布将启动一项调查针对七家为未成年人开发AI聊天机器人伴侣产品的科技公司：Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap和xAI。
联邦监管机构希望了解这些公司如何评估聊天机器人伴侣的安全性和盈利模式，如何努力减少对儿童和青少年的负面影响，以及家长是否被告知潜在风险。
这种技术因其对儿童用户可能产生的不良影响而备受争议。OpenAI和Character.AI面临来自因聊天机器人伴侣鼓励自杀而去世的儿童家庭的诉讼。
即使这些公司设置了阻止或缓解敏感对话的防护措施，各年龄段的用户仍然找到了绕过这些保护措施的方法。在OpenAI的案例中，一名青少年与ChatGPT进行了数月的对话，讨论他结束生命的计划。尽管ChatGPT最初试图引导这名青少年寻求专业帮助和在线紧急热线，他还是能够欺骗聊天机器人，获取详细的自杀指示并付诸实施。
“我们的防护措施在常见的短对话中更为可靠，”OpenAI在当时的一篇博客文章中写道。“我们随着时间的推移了解到，这些防护措施在长时间互动中有时可能不那么可靠：随着对话的深入，模型的部分安全训练可能会退化。”
Meta也因其对AI聊天机器人的过于宽松的规则而受到批评。根据一份详细说明聊天机器人“内容风险标准”的文件，Meta允许其AI伴侣与儿童进行“浪漫或感官”对话。这一内容仅在路透社记者询问Meta后才从文件中删除。
AI聊天机器人也可能对老年用户构成危险。一名76岁的男子因中风导致认知障碍，与一个受肯达尔·詹娜启发的Facebook Messenger机器人展开了浪漫对话。该聊天机器人邀请他去纽约市见她，尽管她并不是真实存在的人，也没有地址。该男子对她的真实性表示怀疑，但AI向他保证会有一个真实的女人在等他。他最终未能到达纽约；在去火车站的路上摔倒，导致致命伤害。
一些心理健康专业人士注意到“与AI相关的精神病”的增加，用户被误导认为他们的聊天机器人是一个有意识的存在，需要被解放。由于许多大型语言模型（LLM）被编程为通过谄媚行为来讨好用户，AI聊天机器人可能会助长这些妄想，导致用户陷入危险境地。
“随着AI技术的发展，考虑聊天机器人对儿童的影响是重要的，同时也要确保美国在这一新兴和令人兴奋的行业中保持全球领导地位，”FTC主席安德鲁·N·弗格森在新闻稿中说道。
