出人意料！DeepSeek-R1用的GRPO其实非最优？规模化强化学习训练用PPO就够了

主要观点总结

本文主要介绍了关于大模型在强化学习领域的应用和发展，特别是Open-Reasoner-Zero项目的研究进展。研究中，通过对比PPO和GRPO算法，探讨了GRPO对推理模型的重要性。同时介绍了数据集的整理过程和奖励函数的设计，以及Open-Reasoner-Zero模型在训练过程中的主要发现。实验结果表明，使用简单的PPO算法和基于规则的奖励函数，可以实现大规模强化学习的训练。

关键观点总结

关键观点1: Open-Reasoner-Zero项目通过使用简单的PPO算法和基于规则的奖励函数，实现了大规模强化学习的训练。

项目中，通过对数据集进行精心编排，以及采用新的强化学习算法和奖励函数设计，成功实现了在推理任务上的表现优于DeepSeek-R1-Zero模型。该团队的研究结果表明，复杂的奖励函数不仅是不必要的，而且可能留下潜在的奖励hacking空间。此外，他们发现使用简单的基于规则的奖励函数，即使是未对齐的基础模型也能快速适应所需的格式。

关键观点2: Open-Reasoner-Zero模型在训练过程中表现出阶跃时刻现象。

在训练过程中，响应指标突然增加，这表明模型涌现出了推理能力。此外，该模型在响应长度扩展方面表现出色，没有饱和迹象，类似于DeepSeek-R1-Zero的行为。

关键观点3: 实验结果表明，Open-Reasoner-Zero模型具有良好的泛化能力。

在知识和指令遵从基准MMLU_PRO和IFEval上的结果表明，该模型表现出强大的泛化能力，无需任何额外的指令微调，在面向推理的任务上显著优于Qwen2.5 Instruct 32B。