【前沿最新】强化学习预训练来了，「Next-Token」范式改变！

主要观点总结

文章介绍了强化预训练（RPT）这一新范式在提升AI模型能力方面的作用。RPT将传统的下一个token预测任务重构为推理任务，通过可验证的奖励机制，使模型在进行下一个token预测时获得奖励。来自微软的新研究表明，RPT不仅在后训练阶段发挥作用，还在预训练阶段展现出巨大潜力。该方法具有可扩展性和通用性，能够利用海量文本数据进行通用强化学习。实验结果证明了RPT在提升语言建模准确性和预测下一个token的能力方面的有效性。

关键观点总结

关键观点1: RPT范式的引入

文章提出了强化预训练（RPT）这一新范式，旨在解决当前强化学习在AI模型训练中的可扩展性和通用性问题。

关键观点2: RPT的工作机制

RPT将传统的下一个token预测任务重构为推理任务，通过可验证的奖励机制，使模型在进行下一个token预测时获得奖励。这种方法无需外部标注或领域特定奖励函数，即可将传统用于next-token预测的海量无标注文本数据转化为适用于通用强化学习的大规模训练资源。

关键观点3: RPT的优点

RPT具有固有的可扩展性和通用性，能够充分利用传统next-token预测所使用的海量无标注文本数据。使用直接的、基于规则的奖励信号可以最大限度地降低reward hacking风险。通过明确的奖励next-token推理范式，模型能够进行更深入的理解和泛化。

关键观点4: 实验结果

实验结果表明，RPT在提升语言建模准确性和预测下一个token的能力方面表现出色，与标准下一个token预测基线和基于推理的预测基线相比都有更好的表现。此外，RPT的下一个token预测准确率随着训练计算的扩大而可靠地提高。