快手 & 中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！

主要观点总结

本文主要介绍了使用StableReinforce算法训练的多模态奖励模型R1-Reward，解决了强化学习在奖励建模中的训练不稳定、优势归一化限制以及推理和结果不一致等问题。实验结果表明，R1-Reward在多个多模态奖励模型基准上超越了现有最先进的模型，具有优秀的推理时扩展能力。

关键观点总结

关键观点1: R1-Reward模型介绍

R1-Reward是一种多模态奖励模型，使用StableReinforce算法进行训练，旨在解决强化学习在奖励建模中的挑战。

关键观点2: 解决的问题

R1-Reward解决了训练不稳定、优势归一化限制以及推理和结果不一致等关键问题。

关键观点3: StableReinforce算法的特点

StableReinforce算法通过引入Pre-Clipping、优势过滤、一致性奖励以及渐进式训练策略，有效稳定了训练过程并提升了模型性能。

关键观点4: 实验结果

R1-Reward在多个多模态奖励模型基准上超越了现有最先进的模型，取得了显著进展，并且展示了优秀的推理时扩展能力。

免责声明