AI可以诊断疾病、写诗,甚至驾驶汽车——但它仍然难以处理一个简单的词:“否”。这一盲点可能在现实应用中带来严重后果,尤其是在医疗领域。
根据一项新的研究由MIT博士生Kumail Alhamoud领导,与OpenAI和牛津大学合作,无法理解“否”和“不是”可能带来深远的后果,尤其是在医疗环境中。
否定(例如,“无骨折”或“未增大”)是一种关键的语言功能,尤其是在医疗等高风险环境中,误解可能导致严重伤害。研究表明,当前的AI模型——如ChatGPT、Gemini和Llama——常常无法正确处理否定语句,倾向于默认正面关联。
核心问题不仅仅是数据不足;而是AI的训练方式。大多数大型语言模型是为了识别模式,而不是进行逻辑推理。这意味着它们可能将“不是好”解释为仍然有些积极,因为它们将“好”与积极性联系在一起。专家认为,除非模型被教导通过逻辑推理,而不仅仅是模仿语言,否则它们将继续犯轻微但危险的错误。
“AI非常擅长生成与训练中看到的相似的响应。但它在提出真正新颖或超出训练数据的东西时表现很差,”零知识基础设施公司Lagrange Labs的首席研究工程师Franklin Delehelle告诉Decrypt。“因此,如果训练数据缺乏强烈的‘否’或表达负面情绪的例子,模型可能难以生成那种响应。”
在研究中,研究人员发现,旨在解释图像和文本的视觉语言模型更倾向于肯定语句,常常无法区分正面和负面标题。
“通过合成否定数据,我们提供了一条通向更可靠模型的有希望的路径,”研究人员说。“虽然我们的合成数据方法改善了否定理解,但挑战仍然存在,特别是在细微的否定差异上。”
尽管在推理方面取得了持续进展,许多AI系统在处理开放性问题或需要更深理解或“常识”的情况下仍然困难重重。
“所有大型语言模型——我们现在通常称之为AI——都受到其初始提示的部分影响。当你与ChatGPT或类似系统互动时,系统不仅使用你的输入。还有一个由公司预设的内部或‘内部’提示——你,用户,无法控制。” Delehelle告诉Decrypt。
Delehelle强调了AI的一个核心限制:对其训练数据中模式的依赖,这种限制可能会影响——有时会扭曲——它的响应方式。
斯坦福大学深度学习兼职教授、技能智能公司Workera创始人Kian Katanforoosh表示,否定的挑战源于语言模型运作方式的根本缺陷。
“否定是看似简单却复杂的。像‘否’和‘不是’这样的词会改变句子的意思,但大多数语言模型并不是通过逻辑推理——它们是根据模式预测什么听起来可能。” Katanforoosh说 “这使得它们在涉及否定时容易错过重点。”
Katanforoosh还指出,呼应Delehelle,AI模型的训练方式是核心问题。
“这些模型被训练成关联,而不是推理。所以当你说‘不是好’时,它们仍然强烈地将‘好’与积极情感联系在一起,”他解释道。“不像人类,它们并不总是会覆盖这些关联。”
Katanforoosh警告说,无法准确解释否定不仅仅是技术缺陷——它可能在现实世界中产生严重后果。
“理解否定是理解的基础,”他说。“如果一个模型不能可靠地掌握它,你就有可能出现微妙但关键的错误——尤其是在法律、医疗或人力资源应用中。”
虽然扩大训练数据似乎是一个简单的解决方案,但他认为解决方案在于其他地方。
“解决这个问题不是关于更多的数据,而是更好的推理。我们需要能够处理逻辑而不仅仅是语言的模型,”他说。“这就是现在的前沿:将统计学习与结构化思维结合起来。”