OpenAI o1的开源平替版self-replay RL来了！

主要观点总结

本文介绍了一种名为rStar的自博弈相互推理方法，旨在提高小型语言模型（SLMs）的推理能力，无需微调或更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）增强目标SLM，并使用另一个能力相似的SLM作为判别器来验证生成的每个推理轨迹。文章详细描述了rStar的方法论，包括问题表述、挑战、使用MCTS生成推理轨迹、奖励函数的设计、相互一致性进行推理轨迹选择等。实验结果表明，rStar在五个SLMs和五个推理任务上的表现显著，与最先进基线相比具有优越性。

关键观点总结

关键观点1: rStar方法介绍

rStar是一种自博弈相互推理方法，通过蒙特卡洛树搜索（MCTS）增强SLMs的推理能力。

关键观点2: 方法挑战

rStar面临的主要挑战是如何在有限的SLM能力下，通过MCTS生成有效的推理轨迹，并准确评估每个动作的价值。

关键观点3: 动作空间

rStar引入了更丰富的动作空间，包括提出单步思考、剩余的思考步骤、提出下一个子问题及其答案、重新回答子问题、重新表述问题等，以最大化SLM正确解决复杂推理问题的潜力。

关键观点4: 奖励函数设计

rStar根据每个中间节点对最终正确答案的贡献来评估价值，经常导致正确答案的动作会获得更高的奖励。

关键观点5: 相互一致性选择推理轨迹

rStar使用另一个SLM作为判别器，通过相互一致性来验证生成的每个推理轨迹。这种方法基于同行评审的类比，增加了解答问题的可靠性。

关键观点6: 实验结果

rStar在五个SLMs和五个推理任务上的实验结果表明，该方法显著提高了SLMs的推理能力，与最先进基线相比具有优越性。