腾讯AI Lab &马里兰大学，首个用于复杂现实世界推理任务的并行思维强化学习框架

主要观点总结

本报告介绍了基于强化学习实现大语言模型并行思考的方法。报告由马里兰大学的郑童分享，他提出了一种新的方法——Parallel-R1，这是一种用于复杂现实世界推理任务的并行思维强化学习框架。该框架解决了使用强化学习训练并行思维时的冷启动问题，并通过渐进式的课程学习策略初步掌握并行思维能力，然后在更具挑战性的问题上进一步探索和拓展这一能力。实验结果表明，Parallel-R1成功地培养了并行思维能力，相比顺序思维模型准确率有所提升。最重要的是，该框架将并行思维验证为一种中期训练的探索支架，在AIME25上相比基线模型有所提升。报告嘉宾郑童是美国马里兰大学的博士生，他的研究方向聚焦大语言模型效率。

关键观点总结

关键观点1: 报告主题和内容

报告主题是Parallel-R1：基于强化学习实现大语言模型并行思考。报告介绍了Parallel-R1框架的原理、特点、实现方法和实验结果。

关键观点2: Parallel-R1框架的特点

Parallel-R1是一种用于复杂现实世界推理任务的并行思维强化学习框架，采用渐进式的课程学习策略，解决使用强化学习训练并行思维时的冷启动问题。

关键观点3: 实验结果

在多个数学基准测试中进行实验，结果表明Parallel-R1成功地培养了并行思维能力，相比顺序思维模型准确率提升8.4%，在AIME25上相比基线模型提升42.9%。

关键观点4: 报告嘉宾介绍

报告嘉宾郑童是美国马里兰大学的博士生，研究方向聚焦大语言模型效率。