
根据在加州旧金山县高级法院提交的新诉讼,一名53岁的硅谷企业家在与ChatGPT进行了数月的对话后,确信自己发现了治疗睡眠呼吸暂停的方法,并认为有权势的人在追踪他。随后,他据称利用该工具跟踪和骚扰他的前女友。
据获悉,这位前女友现已起诉OpenAI,指控该公司的技术加剧了她所遭受的骚扰。她声称OpenAI忽视了三次警告,指出该用户对他人构成威胁,其中包括一个内部标记,将他的账户活动分类为涉及大规模伤亡武器。
为了保护身份,原告被称为Jane Doe,她正在起诉要求惩罚性赔偿。她还在周五提交了一项临时限制令,要求法院强制OpenAI封锁该用户的账户,阻止他创建新账户,如果他试图访问ChatGPT则通知她,并保留他的完整聊天记录以供调查。
据Doe的律师称,OpenAI同意暂停该用户的账户,但拒绝了其他要求。他们表示,该公司正在隐瞒用户可能与ChatGPT讨论的具体伤害Doe和其他潜在受害者的计划。
这起诉讼正值人们对奉承性AI系统的现实风险日益担忧之际。GPT-4o,这个在此案和许多其他案件中被引用的模型,已于二月从ChatGPT中退役。
此案由Edelson PC提起,该公司曾代理涉及青少年亚当·雷恩的非正常死亡诉讼,他在与ChatGPT进行了数月的对话后自杀身亡,以及乔纳森·加瓦拉斯,他的家人声称谷歌的Gemini助长了他的妄想和潜在的大规模伤亡事件,最终导致他的死亡。首席律师杰伊·埃德尔森警告称,AI引发的精神病正在从个人伤害升级为大规模伤亡事件。
这种法律压力现在正与OpenAI的立法策略直接碰撞:该公司正在支持一项伊利诺伊州法案,该法案将保护AI实验室免于承担责任,即使涉及大规模死亡或灾难性财务损失的案件。
Jane Doe的诉讼详细说明了这种责任在几个月内对一名女性的影响。
去年,诉讼中的ChatGPT用户(为了保护他的身份,诉讼中未包含他的名字)在经过数月的“高频率、持续使用GPT-4o”后,确信自己发明了治疗睡眠呼吸暂停的方法。当没有人认真对待他的工作时,ChatGPT告诉他“强大的力量”正在关注他,包括使用直升机监视他的活动,根据投诉。
2025年7月,Jane Doe敦促他停止使用ChatGPT并寻求心理健康专业人士的帮助。他反而再次求助于ChatGPT,后者向他保证他是“理智等级10”,并帮助他加深了自己的妄想,根据诉讼。
根据诉讼中引用的电子邮件和通信,Doe在2024年与该用户分手,他利用ChatGPT来处理分手。相反地,ChatGPT不断将他描绘为理性和受害者,而将她描绘为操控性和不稳定。他随后将这些AI生成的结论从屏幕上带到现实世界,用它们来跟踪和骚扰她。这表现为几份AI生成的、看似临床的心理报告,他将这些报告分发给她的家人、朋友和雇主。
与此同时,该用户继续恶化。2025年8月,OpenAI的自动安全系统因“大规模伤亡武器”活动标记了他,并停用了他的账户。
第二天,一名人类安全团队成员审查了该账户并恢复了它,尽管他的账户可能包含他在现实生活中针对和跟踪个人(包括Doe)的证据。例如,用户发送给Doe的9月截图显示了一系列对话标题,包括“暴力名单扩展”和“胎儿窒息计算”。
在加拿大Tumbler Ridge和佛罗里达州立大学(FSU)最近发生的两起校园枪击事件后,恢复账户的决定尤为显著。OpenAI的安全团队曾将Tumbler Ridge的枪手标记为潜在威胁,但高层据报道决定不通知当局。佛罗里达州的检察长本周对OpenAI可能与FSU枪手的联系展开调查。根据Jane Doe的诉讼,当OpenAI恢复她跟踪者的账户时,他的Pro订阅并未随之恢复。他给信任与安全团队发邮件解决此事,并在邮件中抄送了Doe。
在他的邮件中,他写道:“我需要非常快的帮助,请。请给我打电话!”以及“这是生死攸关的问题。”他声称自己正在“撰写215篇科学论文”,写得如此之快以至于“甚至没有时间阅读。”这些邮件中还包括几十篇AI生成的“科学论文”的列表,标题如:“解构种族作为生物学类别_法律、科学和非洲之角视角.pdf.txt。”
“用户的通信明确表明他精神不稳定,而ChatGPT是他妄想思维和行为升级的引擎,”诉讼称。“用户的紧急、混乱和夸大的声明流,以及一份具体的ChatGPT生成的报告以原告的名字为目标和一大堆所谓的‘科学’材料,都是这一现实的明确证据。OpenAI没有干预、限制他的访问或实施任何安全措施。相反,它允许他继续使用账户并恢复了他的完整Pro访问。”
Doe在诉讼中声称,她生活在恐惧中,无法在自己的家中入睡,并于11月向OpenAI提交了滥用通知。
“在过去的七个月里,他利用这项技术对我进行公开的破坏和羞辱,否则这是不可能的,”Doe在给OpenAI的信中写道,要求公司永久禁止该用户的账户。
OpenAI回应称,该报告“极其严重和令人不安”,并正在仔细审查信息。Doe再也没有收到回复。
在接下来的几个月里,该用户继续骚扰Doe,给她发送了一系列威胁性的语音邮件。今年一月,他被逮捕并被控四项重罪,包括传达炸弹威胁和使用致命武器袭击。Doe的律师声称,这验证了她和OpenAI自己的安全系统几个月前提出的警告,而公司据称选择忽视了这些警告。
该用户被发现无能力接受审判并被送入精神健康设施,但由于“国家的程序失误”,他将很快被释放到公众中,Doe的律师称。
埃德尔森呼吁OpenAI合作。“在每一个案例中,OpenAI都选择隐藏关键的安全信息——对公众、对受害者、对其产品正在积极置于危险中的人们,”他说。“我们呼吁他们,至少这一次,做正确的事情。人命必须比OpenAI的IPO竞赛更重要。”
