思考 RLHF 的本质以及主流算法思路

主要观点总结

文章主要讨论了使用强化学习方法训练语言模型的方法，包括从RLHF的本质、与RL和有监督学习的关系，到当前各种优化方法的优化点、使用RL训练逻辑推理模型的经验及注意事项。文章还详细介绍了PPO、RLOO、GRPO、REINFORCE、DAPO、VAPO等算法的原理、实现细节以及它们之间的比较。此外，文章还从理论角度探讨了LLM+RL的统一视角，以及从SFT到RL的转换。

关键观点总结

关键观点1: RLHF的本质

RLHF是一种使用强化学习方法将LLM对齐人类的技术，并逐步延伸到复杂推理模型的训练中。文章探讨了RLHF与RL和有监督学习的关系，并讨论了当前各种优化方法的优化点。

关键观点2: PPO、RLOO、GRPO、REINFORCE、DAPO、VAPO等算法

文章详细介绍了PPO、RLOO、GRPO、REINFORCE、DAPO、VAPO等算法的原理、实现细节以及它们之间的比较。这些算法各有特点，如PPO基于策略梯度，RLOO通过批次中其他样本的平均奖励计算基线，GRPO结合了PPO与RLOO的多采样技巧等。

关键观点3: LLM+RL的理论视角

文章从理论角度探讨了LLM+RL的统一视角，以及从SFT到RL的转换。提出了DPO方法，它是一种有监督对齐方法，通过直接优化策略参数，但效果通常不如在线学习方法。