总部位于新加坡的AI初创公司Sapient Intelligence开发了一种新的AI架构，该架构在推理任务中可以媲美大型复杂模型的性能，同时体积更小且计算效率更高。该架构被称为分层推理模型(HRM)，其灵感来自人类大脑使用不同系统进行缓慢、深思熟虑的规划和快速直观计算的方式。该模型拥有2700万个参数，仅需1000个训练样本，就能在复杂推理任务中超越多亿参数的模型。

大型语言模型推理的挑战

当前的大型语言模型（LLMs）主要通过思维链(CoT)来解决推理问题，这种方法迫使模型生成“思考”标记，口头化推理过程，将复杂问题分解为一系列更简单的基于文本的步骤。虽然在一定程度上有效，但这种方法存在根本的局限性。

这种方法也未能捕捉到内部发生的潜在推理，而这些推理并未通过语言表达。我们自己的许多思维过程并不是一个持续的内心独白，而是一系列无法用文本表达的非语言、抽象计算。

论文的作者认为，“CoT对于推理来说是一种拐杖，而不是一个令人满意的解决方案。它依赖于脆弱的人为定义的分解，其中一个小错误或步骤顺序错误就可能完全破坏推理过程。”

这就是为什么有几项研究表明CoT标记可能具有误导性并不一定反映LLM的推理过程。

分层推理模型

为了构建更稳健的架构，研究人员探索了“潜在推理”，即模型在其内部隐藏状态中执行计算。这个隐藏空间以数值形式表达，不能直接转换为文本标记。这一概念与语言是交流工具而非思维本质的观点一致。

正如论文所述，“大脑在潜在空间中以惊人的效率维持长时间、连贯的推理链，而无需不断翻译回语言。”

实现这种潜在推理需要显著的计算深度，这是当前模型所缺乏的。简单地堆叠更多的Transformer层，即大多数LLM的构建模块，会导致训练不稳定，因为梯度消失问题，即早期层的梯度开始减小，最终在穿过越来越多的层时消失。

递归神经网络(RNNs)，设计用于序列任务，是另一种选择，但它们往往过早陷入次优解，即过早收敛问题，它们在找到第一个解决方案时就停滞不前，避免探索其他可能更好的选择。

为了寻找更好的前进方式，研究人员从神经科学中寻找灵感。“人类大脑为实现当代人工模型所缺乏的有效计算深度提供了一个引人注目的蓝图，”他们写道。“它在不同时间尺度上跨皮层区域分层组织计算，支持深度、多阶段推理。”

HRM架构具有两个耦合的递归模块，反映了这种生物设计：一个用于缓慢、抽象规划的高层（H）模块和一个用于快速、详细工作的低层（L）模块。这些模块使用了许多与Transformer模型相同的组件，但以一种使其在推理任务中更高效的方式排列。

这些模块通过研究人员称之为“分层收敛”的过程运行。快速的L模块运行若干步骤，探索问题的一部分并确定局部、中间解决方案。一旦稳定，缓慢的H模块接收这一结果，反思并更新整体策略，然后以新的探索方向重置L模块。这个嵌套的计算循环防止模型过快收敛，并允许其处理需要多步骤的问题。

这种设计为模型提供了一个强大的内部推理引擎，使HRM能够执行一系列嵌套计算。在这种推理方案中，H模块“指导整体问题解决策略”，而L模块“执行每一步所需的密集搜索或细化”。

这种架构使模型能够在不需要计算昂贵的CoT和深度堆叠层的情况下推理复杂任务。由于推理发生在模型权重的潜在空间中（而不是CoT标记），HRM不需要人工编写的CoT示例。

缺乏CoT带来了可解释性挑战，使得调查模型的推理过程变得困难（公平地说，CoT标记不一定反映LLM的推理过程）。然而，在他们的实验中，研究人员展示了在各种问题上追踪HRM模型推理过程的可能性。在下图中，来自论文的示例中，模型展示了它如何通过多个步骤找到迷宫的解决方案。

让HRM经受考验

为了测试他们的模型，研究人员使用了一套臭名昭著的困难基准，包括抽象与推理语料库(ARC-AGI)，一种智商风格的测试；极限数独，需要深度逻辑搜索；以及困难迷宫，一个复杂的路径寻找挑战。结果显示，HRM在需要广泛搜索和回溯的任务中表现出色。仅使用约1000个训练样本且没有任何预训练或CoT，HRM学会解决即使是高级LLM也无法处理的问题。

例如，在复杂的数独谜题和30×30迷宫中，HRM实现了接近完美的准确性，而领先的基于CoT的模型则完全失败，准确率为0%。在ARC-AGI基准测试中，只有2700万个参数的HRM模型实现了40.3%的准确率，远远超过了像Claude 3这样更大的预训练模型，其得分为21.2%。

通过超越基于文本推理的局限性，HRM为人工智能提供了一个有前途的新方向。“当前的AI方法继续偏爱非分层模型，”作者总结道。“我们的结果挑战了这一既定范式，并表明分层推理模型代表了一种可行的替代方案，能够推进到一个具备图灵完备通用计算能力的基础框架。”