RL推理的尽头，是熵坍缩？统一SFT与强化学习的新视角

主要观点总结

本文详细探讨了基于RL的推理模型的边界问题，介绍了模型在RL训练过程中的表现以及与基座模型的关系，深入探讨了“熵坍缩”问题及其背后的原理，并讨论了如何处理和解决熵缩问题的方法。文中介绍了多个工作的实验结果和观点，包括模型的专业化训练过程、熵缩机制的证明、干预方法及其本质等。

关键观点总结

关键观点1: 基于RL的推理模型的性能边界和其与基座模型的关系。

介绍了模型在RL训练过程中的表现，讨论了模型能力边界的问题，以及其与基座模型性能的关系和实验观察。

关键观点2: “熵坍缩”问题及其影响。

详细探讨了RL训练过程中的“熵坍缩”现象，解释了其发生的原因和对模型训练的影响，以及其对模型能力边界的影响。

关键观点3: 处理“熵坍缩”问题的方法。

介绍了多种处理“熵坍缩”问题的方法，包括Clip-Cov、KL-Cov、On-policy training、Token intervention以及塑形优势值等方法，并分析了它们的工作原理和效果。