首次！流匹配模型引入GRPO，GenEval几近满分，组合生图能力远超GPT-4o

主要观点总结

本文介绍了由香港中文大学与快手可灵等团队联合完成的一项研究，该研究将在线强化学习引入流匹配模型，提出了Flow-GRPO算法。该算法通过两项关键策略，即ODE-SDE等价转换和去噪步骤减负提效，克服了在线强化学习与流匹配模型内在特性之间的矛盾，提升了训练效率。在多个T2I生成任务中，Flow-GRPO表现卓越，显著提升了复杂组合生成能力、文字渲染精准度以及人类偏好对齐任务成绩，同时减少了奖励黑客行为。该算法为未来利用RL进一步解锁和增强各类流匹配生成模型的潜力开辟了新的范式。

关键观点总结

关键观点1: 研究背景

介绍流匹配模型在图像生成和视频生成领域的先进训练方法，以及其在处理复杂场景和文本渲染任务时的困难。

关键观点2: Flow-GRPO算法的核心思路与框架概览

阐述Flow-GRPO算法的核心在于两项关键策略，ODE-SDE等价转换和去噪步骤减负提效，旨在克服在线RL与流匹配模型内在特性之间的矛盾，提升训练效率。

关键观点3: Flow-GRPO算法的实验效果

详细介绍Flow-GRPO在多个T2I生成任务中表现卓越，包括复杂组合生成能力、文字渲染精准度、人类偏好对齐任务等方面的显著提升。

关键观点4: 总结与展望

作为首个将在线强化学习引入流匹配模型的算法，Flow-GRPO揭示了利用在线强化学习持续提升流匹配生成模型性能的可行路径，为未来进一步释放流匹配模型在可控性、组合性与推理能力方面的潜力提供了充满前景的新范式。