ICML 2025 | 大模型深度思考新范式：交替「推理-擦除」解决所有可计算问题

主要观点总结

本文主要介绍了一个名为PENCIL的新深度思考范式，它通过交替执行生成和擦除来解决传统深度思考中的瓶颈问题。PENCIL可以在理论上用最优的空间和时间解决所有可计算问题。文章介绍了PENCIL的工作机制、训练和实验结果以及理论优势。

关键观点总结

关键观点1: 文章介绍了PENCIL深度思考范式的提出背景

文章介绍了作者研究的问题背景，即传统深度思考在处理高难度、大规模任务时面临的挑战，以及提出PENCIL范式的动机。

关键观点2: PENCIL的工作机制

PENCIL通过交替执行生成和擦除来工作，在生成过程中动态地擦除不再需要的中间结果，直到得到最后的答案。

关键观点3: PENCIL的实验结果

文章介绍了PENCIL在各种具有代表性的高难度推理任务中的实验结果，包括准确率、计算效率和自然语言推理任务的表现。实验结果表明，PENCIL在解决大规模推理问题时具有显著的优势。

关键观点4: PENCIL的理论优势

文章从理论角度证明了PENCIL相较于传统深度思考范式的优势。具体地，文章证明了PENCIL可以用最优的空间和时间复杂度模拟任意图灵机的运算过程，从而高效地解决所有可计算问题。