Qwen首次公开强化学习核心算法，超越字节GRPO

主要观点总结

本文介绍了通义千问一周内连续发布的三个开源创新之一的强化学习新算法GSPO。该算法在同等算力下训练效率碾压GRPO，准确率和性能飙升。GSPO定义了序列级别的重要性比率，并在序列层面执行裁剪、奖励和优化。相较于GRPO，GSPO具有三大优势：强大高效、稳定性出色、基础设施友好。GSPO的成功应用进一步释放了RL scaling的潜能，彻底消除了对路由回放策略的依赖，简化了训练过程并提高了模型的容量与潜能。文章还提供了论文链接和相关参考链接。

关键观点总结

关键观点1: GSPO算法简介及优势

GSPO是一种强化学习新算法，通过定义序列级别的重要性比率，在序列层面执行裁剪、奖励和优化，提高训练效率和准确率和性能。相较于GRPO，GSPO具有强大高效、稳定性出色、基础设施友好等三大优势。

关键观点2: GSPO的实验结果

实验结果显示，GSPO在多个权威基准任务上表现优异，训练效率高于GRPO，且可以通过增加算力获得持续的性能提升。另外，GSPO所裁剪的token比例比GRPO高上两个数量级，却具有更高的训练效率。

关键观点3: GSPO的应用及前景

GSPO已成功应用于最新的Qwen3模型的大规模RL训练，进一步释放了RL scaling的潜能。另外，GSPO彻底消除了对路由回放策略的依赖，简化了训练过程并降低了基础设施负担。

免责声明