她如何把“系统2”带给了大模型 ｜对话微软亚洲研究院张丽

主要观点总结

本文介绍了微软亚洲研究院张丽团队在大模型领域的创新工作，包括rStar-Math的研究历程、核心工作、以及行业反响等。

关键观点总结

关键观点1: 张丽团队将System2这个原属认知科学的词汇引入大模型领域，通过蒙特卡洛搜索算法使7B模型实现了o1级别的数学推理能力。

张丽团队通过不断探索，突破大模型智商上限，在蒙特卡洛搜索算法的应用上取得了创新成果，将System2这种高级思考模式赋予大模型，使其具备了接近OpenAI o1级别的数学推理能力。

关键观点2: rStar-Math工作引发广泛关注与讨论。

rStar-Math的发布引起了学术圈和产业界的广泛关注，人们对其在数学推理及其他任务上的表现及应用前景展开了热烈的讨论。

关键观点3: 张丽团队对于奖励模型的重视及其在该领域的研究进展。

张丽团队认为奖励模型的重要性在未来会达成共识，对于提升大模型的智商，一个优秀的过程奖励模型是必不可少的。团队在奖励模型的研究上取得了一定的进展，并将其应用于蒙特卡洛搜索算法中，取得了良好的效果。

关键观点4: rStar-Math在数学推理之外的任务泛化性讨论。

对于rStar-Math在数学推理之外的任务的泛化性，张丽团队表示它具有很强的泛化潜力，可以应用于各种场景。然而，对于简单问题，使用复杂的方法可能并不必要；而对于通用任务，蒙特卡洛搜索算法的搜索空间可能会过大，需要根据具体情况进行选择。

关键观点5: 张丽团队未来的研究方向和计划。

张丽团队下一步的研究方向包括优化奖励模型和策略模型，扩展任务领域，以及进一步提升推理能力。团队希望通过研究，让大模型具备更高级的推理方式，如主动提问等，最终实现通用的深度推理能力。