LLM 新范式：OpenAI o1，self-play RL 和 AGI 下半场

主要观点总结

本期内容是「全球大模型季报」的第四集，拾象科技 CEO 李广密和商业作者张小珺围绕 AGI 发展路径展开了猜想，self-play RL 是新的 scaling law。随着 OpenAI o1 模型的发布，验证了猜想，LLM 正式进入 self-play RL 范式时代。讨论了 RL 在不同公司的应用，包括 Anthropic Claude 3.5 Sonnet 和 Google 的多个研究项目。o1 的发布加速新范式共识的形成，将 RL 从头部 AI Labs 的尝试向全行业扩散。探讨了未来 AGI 下半场的关键模型发布，以及 RL 和合成数据如何帮助模型升级。本期讨论了 RL 和合成数据会如何帮助模型升级，基于 LLM 的 RL 和 self-play 与以前的 RL 的不同，以及模型的 Reasoning 能力提升后会带来什么新机会。

关键观点总结

关键观点1: self-play RL 是新的 scaling law

李广密和张小珺讨论了 self-play RL 是新的 scaling law，并随着 OpenAI o1 模型的发布验证了这一猜想，标志着 LLM 正式进入 self-play RL 范式时代。

关键观点2: 不同公司应用 RL 的情况

讨论了 RL 在不同公司的应用，包括 Anthropic Claude 3.5 Sonnet 和 Google 的多个研究项目，以及 o1 的发布如何加速新范式共识的形成。

关键观点3: 未来 AGI 下半场的关键模型发布

探讨了未来 AGI 下半场的关键模型发布，以及这些模型发布对 RL 和模型升级的影响。

关键观点4: RL 和合成数据如何帮助模型升级

本期讨论了 RL 和合成数据如何帮助模型升级，以及基于 LLM 的 RL 和 self-play 与以前的 RL 的不同，以及模型的 Reasoning 能力提升后会带来什么新机会。