传统的方法将推理表示为线性链或树的形式，然而，DoT（思维图）将命题、批评、改进和验证组织成一个连贯的有向无环图（DAG）结构，使模型能够在保持逻辑一致性的同时探索复杂的推理路径。

关键贡献：

• 提出了思维图（DoT）框架，将迭代推理建模为单个LLM中的DAG构建
• 演示了如何利用自回归下一个标记预测与角色特定的标记相结合，使模型能够在提出想法和批判性评估之间无缝切换，丰富反馈循环而无需外部干预。
• 通过在拓扑理论中形式化DoT，提供了理论基础，澄清了DoT与范畴逻辑的关系，并确保推理过程的逻辑一致性和正确性。

思维图框架概述

• 将逻辑推理建模为累积构建有向无环图（DAG）。该图由表示命题、批评、改进和验证的节点以及表示它们之间的逻辑关系或依赖关系的边组成。
• 无环性质确保推理过程在没有循环依赖的情况下进行，反映了基于良定义的逻辑推导。
• 下图说明了思维图框架。

• 演示片段

思维图组件

角色和下一个标记预测

LLM在内部使用具有角色特定标记的自回归下一个标记预测无缝地管理三个角色，并在生成过程中在这些角色之间进行转换：

• 提出者（<proposer>）：生成命题或推理步骤，为DAG贡献新节点。
• 批评者（<critic>）：评估命题，识别错误、不一致或逻辑谬误，并添加批评节点。
• 总结者（<summarizer>）：将经过验证的命题综合成一段连贯的思路链，有效地对DAG进行拓扑排序，生成最终的推理输出。

推理过程

• 提出者提出一个命题，向DAG添加一个节点。
• 批评者评估该命题，要么确认其有效性，要么提出批评。如果有批评，将添加一个新节点，并在命题和批评之间建立一条边。
• 基于批评，提出者生成一个改进的命题，作为DAG中的一个新节点表示。
• 循环重复，不断改进命题，直到验证为止。
• 一旦建立了足够的有效命题，总结者将综合推理结果，对DAG进行拓扑排序，生成一段连贯的思路链。

训练和推理

• 训练过程中，将训练样例格式化为DoT结构，包括角色特定标记和DAG表示形式。
• 在推理过程中，模型通过预测下一个标记生成命题、批评和总结，受到角色特定标记的引导。

DoT的拓扑理论形式化

• 拓扑理论是范畴论的一个分支，提供了数学和逻辑的统一框架。

数学基础

• 拓扑 E 是一个类似于集合范畴的范畴，但具有能支持内部逻辑的附加结构。具体来说，拓扑具有所有有限极限和余极限、指数和子对象分类器 Ω，后者在内部逻辑中封装了真值的概念。
• 在 DoT 中，命题、推理和批评都以拓扑 E 的内部语言表示。
• 每个命题都被建模为一个子对象 P → 1E，表示命题成立的条件。
• 命题之间的逻辑关系和推理以拓扑 E 中的态射表示。
• 从命题 P 到命题 Q 的边对应于一个态射 f: P → Q，表示在内部逻辑中 P 逻辑蕴含 Q。
• 批评被表示为到子对象分类器的态射，cP: P → Ω，给出命题的真值并评估其有效性。
• 基于批评的命题改进通过态射 r: P → P′ 建模，表示对原始命题的转换或修正。

迭代推理、余极限和 PreNet

• 范畴 DoT 中迭代推理的累积和动态性通过范畴论中的余极限和 PreNet 范畴的概念捕获。
• 拓扑 E 中的一个图示，表示为一个函子 D: J → E，模拟了推理过程中构建的推理 DAG，其中 J 是反映 DAG 结构的索引范畴。
• 图示 D 的余极限，表示为 lim −→ D，将所有命题、批评、改进和推理汇集到 E 中的一个单一连贯对象中。
• 这种汇集对应于 DoT 中的累积推理过程，确保所有有效的推理步骤都被纳入最终结论中。
• DoT 框架中的总结者（<summarizer>）的作用类似于范畴论中的取余极限。
• 就像总结者将经过验证的命题综合成一段连贯的思路链一样，余极限将图示中的所有对象和态射合并成一个统一的结果，遵循图示指定的逻辑关系。
• PreNet 范畴模型动态推理过程，推广了 Petri 网并允许对并发和顺序过程进行建模[3]。PreNet 范畴 C 包括表示推理过程中的状态或命题的对象和表示命题之间的转换或推理步骤的态射。

确保逻辑一致性和正确性

• 拓扑理论的形式化结合了 PreNet 范畴，确保 DoT 中的推理过程在逻辑上是一致和正确的。
• 拓扑的内部逻辑允许对逻辑命题进行精确操作，其中的态射表示有效的逻辑推理。
• DAG 的无环结构反映在图示 D 中，避免了循环依赖，符合基于良定义的逻辑推导要求。
• 通过在 PreNet 范畴的上下文中通过余极限汇总命题和推理，我们能够组装累积推理过程，并在不矛盾地纳入所有有效推理的基础上进行。
• 这个形式化确保了最终的推理输出在逻辑上是一致的，通过有效的推理推导出来，即使考虑到并发的推理路径也是如此。

对 DoT 框架的影响

• 在拓扑理论和 PreNet 范畴内对 DoT 框架进行形式化提供了推理过程的坚实数学基础，确保了逻辑推导的表示的准确性和严谨性。
• 通过将批评作为到子对象分类器的态射并使用 PreNet 范畴对并发推理路径进行建模，反馈机制和推理的动态特性直接嵌入到逻辑框架中。

结论

介绍了思维图（DoT）框架，将大型语言模型中的迭代推理建模为在单个LLM中构建定向无环图。 DoT通过将命题、批评、改进和验证整合到统一的DAG结构中，捕捉了超出线性或基于树的模型的逻辑推导的复杂性。 该框架利用具有角色特定标记的自回归下一个标记预测来无缝管理角色转换，使模型能够在不需要外部干预的情况下生成详细的推理过程。 提供了DoT框架的拓扑理论形式化，为所建模的推理过程提供了数学基础，澄清了推理过程与范畴逻辑的关系。