普林斯顿陈丹琦组新作：RLHF难支撑，RLVR有边界？RLMT开辟第三条路

主要观点总结

本文介绍了普林斯顿大学的最新论文“Language Models that Think, Chat Better”，该论文提出了一种新的模型RLMT（Reinforcement Learning with Model-rewarded Thinking）。该模型结合了RLHF（Reinforcement Learning with Human Feedback）和RLVR（Reinforcement Learning with Verifiable Rewards）的优势，强制模型在回答前“写下长链推理”，并使用偏好奖励模型来评判最终答案。实验结果显示，RLMT能够在聊天和创作任务上表现出超越GPT-4o和Claude-3.7 Sonnet的性能。文章还详细描述了RLMT的核心思想、实验发现以及与传统方法的区别。

关键观点总结

关键观点1: RLMT结合了RLHF和RLVR的优势，既要求模型显式地思考，又要求答案符合人类的期待。

模型被强制先写下一段思考轨迹z，然后再产出最终回答y。评价者是一个偏好奖励模型r，这使得模型必须生成推理链条，但又能在开放域场景里保持灵活。

关键观点2: RLMT的“显式思考”并非负担，而是助力。实验证明，强制模型‘先思考再回答’有收益。

表1显示，RLMT在几乎所有开放域基准上的得分都比RLHF高出1.5–4分，这证明了显式思考的价值。

关键观点3: RLMT让小模型具备了与旗舰商用模型竞争的可能性。

表2展示了RLMT 8B模型与GPT-4o、Claude-3.7 Sonnet的对比，表明RLMT使小模型具备了与大型商用模型竞争的能力。

关键观点4: RLMT改变了模型在公式层面和风格层面的双重属性。

在公式层面，RLMT巧妙地把RLHF的人类偏好奖励与RLVR的显式思考轨迹统一到一个目标函数中。在风格层面，RLMT重塑了模型的生成习惯，使模型从简单的要点罗列进化为更类似人类的迭代式规划。