14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1

主要观点总结

文章介绍了微软研究院使用主动式强化学习（agentic reinforcement learning）训练了一个名为rStar2-Agent的模型，该模型能够在专用工具环境中进行自主推理和验证。通过引入三大关键创新，包括高效可靠的基础架构、基于正确重采样的组相对策略优化（GRPO-RoC）以及一套训练方案，该团队成功训练了一个仅有14B大小的模型rStar2-Agent-14B，其数学推理性能超越了许多领先的推理模型。该模型不仅在AIME24等基准测试中表现出色，还能有效泛化到其他任务。

关键观点总结

关键观点1: 微软研究院使用主动式强化学习训练了一个名为rStar2-Agent的模型。

该模型能在专用工具环境中自主进行推理和验证。

关键观点2: 该模型引入了三大关键创新，包括高效基础架构、GRPO-RoC策略和训练方案。

这些创新使得模型的训练和推理更加高效和有效。

关键观点3: rStar2-Agent-14B模型仅有14B大小，但数学推理性能超越了多个领先的推理模型。

在多个基准测试中表现出色，并能够有效泛化到其他任务。