超越思维链？深度循环隐式推理引爆AI圈，LLM扩展有了新维度

主要观点总结

本文介绍了一种全新的语言模型架构，能够通过循环语言模型在潜在空间中隐式推理，显著提升模型的计算效率，尤其在需要复杂推理的任务上。该架构通过深度循环方法，无需生成大量“思考”token即可获得高性能，并且不需要任何专门的训练数据，可以使用小的上下文窗口，并且可以捕获不易用文字表示的推理类型。该工作在多个数学和编程基准测试中取得了显著成绩。

关键观点总结

关键观点1: 全新语言模型架构通过循环语言模型在潜在空间中隐式推理。

这种新的语言模型架构利用深度循环方法，能够在不需要生成大量“思考”token的情况下实现高性能。该架构通过构建计算密集但参数规模较小的架构，期望强化模型构建“思考”而非单纯记忆来解决问题的先验倾向。

关键观点2: 深度循环方法不需要专门的训练数据。

与传统的训练数据依赖的语言模型不同，这种新的模型架构不需要任何专门的训练数据。它可以在标准训练数据上进行训练，无需专门示例，并且可以根据计算预算灵活调整，在测试时通过额外计算资源增强能力。

关键观点3: 模型具备自适应计算能力，可针对不同任务灵活调整计算量。

该模型能够根据不同的任务灵活调整计算量，对于简单问题，只需进行较少的计算；对于复杂问题，则会增加计算轮次，这种自适应计算机制使得模型能够在推理时动态地增加算力。

关键观点4: 模型在多个数学和编程基准测试中取得显著成绩。

该模型在 GSM8k、MATH、Minerva、MathQA 等数学推理任务以及 MBPP、HumanEval 等编程基准测试上取得了显著的成绩，大大超过了除 OLMo-2 模型以外的所有模型。