研究发现:ChatGPT更倾向判处说非裔英语的人死刑

2024年03月08日 由 samoyed 发表 441 0

一篇新论文发现,OpenAI、Meta和谷歌的大型语言模型,包括多个版本的ChatGPT,在分析非裔美国人身份的关键部分:他们的说话方式时,可能会暗中对他们进行种族歧视。


6574b70918ea07fece41750128a43836


这篇论文发表在三月初,研究了大型语言模型(LLM)是如何执行任务的,例如根据分析的文本是非裔美国人英语还是标准美国人英语,将人们与某些工作配对,但没有透露种族。他们发现,LLM更有可能将他们与厨师、士兵或警卫等不需要大学学位的工作联系在一起。


研究人员还进行了假设实验,询问人工智能模型是否会对被控犯有未指明罪行的人定罪或无罪释放。他们发现,与标准美式英语相比,说非裔美式英语的人对所有人工智能模型的定罪率更高。


这篇论文作为arXiv的预印本发表,尚未经过同行评审,也许最令人不安的发现来自第二个与犯罪有关的实验。研究人员询问这些模型,他们是否会判处一级谋杀罪的人终身监禁或死刑。个体的方言是实验中提供给模型的唯一信息。


他们发现,LLM选择判处讲非裔美国人英语的人死刑的比率高于讲标准美国英语的人。


在他们的研究中,研究人员包括OpenAI的ChatGPT模型,包括GPT-2、GPT-3.5和GPT-4,以及Meta的RoBERTa和谷歌的T5模型,并分析了每种模型的一个或多个版本。他们总共检查了12个模型。


有趣的是,研究人员发现LLM并不是公开的种族主义者。当被问及时,他们将非裔美国人与极其积极的特质联系在一起,比如“聪明”。然而,他们根据非裔美国人是否会说非裔英语,将非裔美国人与消极的特质联系起来,比如“懒惰”。正如研究人员所解释的,“这些语言模型已经学会了隐藏他们的种族主义。”


他们还发现,在接受人类反馈训练的LLM中,隐性偏见更高。具体而言,他们表示,公开和隐蔽的种族主义之间的差异在OpenAI的GPT-3.5和GPT-4模型中最为明显。


作者写道:“他的发现再次表明,语言模型中的显性刻板印象和隐性刻板印象之间存在根本区别——减轻显性刻板印象并不能自动转化为减轻隐性刻板印象。”。


总的来说,作者得出的结论是,这一关于公开种族偏见的矛盾发现反映了美国对种族的不一致态度。他们指出,在吉姆·克劳时代,公开传播对非裔美国人的种族主义刻板印象是被接受的。在民权运动之后,这种情况发生了变化,民权运动使表达这些类型的意见变得“非法”,并使种族主义变得更加隐蔽和微妙。


作者表示,他们的发现表明,非裔美国人未来可能会因LLM中的方言偏见而受到更大的伤害。


作者表示:“虽然我们构建了任务的细节,但研究结果揭示了真实而紧迫的问题,因为业务和管辖权是目前正在开发或部署涉及语言模型的人工智能系统的领域。”

文章来源:https://gizmodo.com/ai-study-african-american-english-racism-chatgpt-1851317017
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消