大型语言模型的决策能力研究及前景

2024年04月15日 由 daydream 发表 84 0

大型语言模型(LLM)如OpenAI的ChatGPT(特别是其最新版本GPT-4)、Claude AI和Gemini等,近期已经展现出有限的决策能力。本文将探讨LLM在决策制定方面的当代研究及其未来可能的影响。


微信截图_20240415112926


传统的LLM决策制定主要指的是它们能够从数据中推导出潜在的模式或规则,并将其灵活地应用到新的情境中,以作出相应的决策。但根据圣塔菲研究所的实验结果,像ChatGPT这样的LLMs在推理基本核心概念方面存在困难。合理的决策制定需要深入理解提示的上下文以及输出结果的潜在影响。


不幸的是,LLM决策能力不佳有时会导致严重的后果。例如,2023年,全国饮食失调协会因为他们的AI聊天机器人“苔莎”提供了一些不恰当的饮食建议而被迫暂停服务。苔莎给出的建议包括每周称重和每天保持500到1000卡路里的热量缺口,这引发了广泛争议。


除了提供误导性的信息外,LLM还经常给出过于泛化的建议。欧洲工商管理学院指出,当ChatGPT被要求提出商业策略研究问题时,它往往倾向于给出一些参与式管理的通用、常规智慧。比如,LLM常常建议采取协作式工作、培养创新文化以及使员工的目标与组织目标一致等。但商业策略制定实际上是一个复杂的社会和经济过程,不应当只依赖于这种泛泛而谈的建议。


有人可能会反驳说:“如果你希望LLM能够制定商业策略或提供医疗建议,为什么不专门训练它们来做这些呢?”然而,处理复杂的上下文数据并不是简单地通过增加模型的参数或训练更多的数据就能解决的问题。让LLM基于微妙的上下文做出决策,无法通过简单地扩大数据集来解决。相反,输入更多的数据可能会加剧已存在的偏见,并增加计算需求。


要实现符合上下文的决策制定,训练LLM需要一种更为精细的方法。目前,学术界在机器学习领域提出了两种复杂的方法,旨在增强LLM的决策制定过程,使其更接近于人类的决策制定方式。第一种方法是AutoGPT,它利用自我反思机制来规划和验证输出;第二种方法是“思维树”(Tree of Thoughts,ToT),它打破了传统的顺序推理方式,鼓励更有效的决策制定。


AutoGPT代表了人工智能开发的前沿,旨在使模型能够自主创建、评估并改进自身以实现特定目标。学者们后来通过引入“额外意见”策略来改进AutoGPT系统,该策略涉及整合专家模型。这种策略提供了一个新颖的框架,通过结合不同领域的专家模型(如金融分析模型),在决策制定过程中为LLM提供额外的信息。


简而言之,这种策略的核心是利用相关信息来丰富模型的知识库。当应用于实际场景时,专家模型的存在可以显著提高LLM的决策制定能力。模型经历“思考-推理-计划-批评”的过程,利用专家模型来构建和审查LLM的决策。


如果成功部署,具有专家模型的LLM将能够分析比人类更多的信息,从而做出更明智的决策。然而,AutoGPT也存在一些限制,例如其有限的上下文窗口——即模型同时处理的信息量有限,这可能会限制其能力。因此,在使用AutoGPT时,最初提供所有可用信息可能比在长时间的对话中逐步注入信息更能获得有效的输出。


“思维树”是另一种提高LLM准确性的有潜力框架,旨在模拟人类的认知过程。人类在决策时通常会围绕生成和比较不同的选项或场景进行。因此,与额外意见策略类似,ToT将LLM中的错误决策制定归因于它们的线性推理过程。与AutoGPT一样,ToT的因变量通过评估LLM完成拼图、复杂任务(如填字游戏和创造性写作)的能力来衡量其遵守自然语言指令的能力。


LLM中的线性推理过程通过“思维链”(Chain of Thought)来概念化,这是一种通过展示顺序、逐步的决策制定来增强LLM透明度的方法。然而,ToT旨在通过增强模型的自我批评能力和探索多种推理路径来突破这种局限。


例如,在玩24点游戏时,思维链很难概念化所有可能的结果——即哪些数字可以通过加、减、乘、除运算得到24。因此,GPT-4的准确率相对较低。而ToT能够映射出不同的结果,使得该框架在该游戏上达到了74%的准确率。


展望未来,如果LLM的决策能力得到持续发展,人类和人工智能可能会在战略决策方面展开合作。ToT建议将其应用于编码、数据分析和机器人技术等领域,而AutoGPT则有着更远大的目标,如实现通用智能。


无论如何,人工智能领域的学术研究正在产生新的、实用的策略,以在LLM中诱导更多的认知决策制定。LLM的一大优势在于它们能够迅速分析大量数据——这是人类无法做到的。因此,如果相关研究能够取得成功,LLM可能在不久的将来在决策制定能力上与人类相匹敌——甚至可能超越人类。

文章来源:https://venturebeat.com/ai/improving-decision-making-in-llms-two-contemporary-approaches/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消