LLM的范式转移：RL带来新的 Scaling Law

主要观点总结

自 Sam Altman 发布草莓照片以来，整个行业都在期待 OpenAI 的新模型。新模型 Strawberry 将使用合成数据的方法，大幅提高 LLM 的智能推理能力，特别是在数学解题、解字谜、代码生成等复杂推理任务。该方法也会用在 GPT 系列的提升上，帮助 OpenAI 新一代 Orion。强化学习和自我对弈是多个公司研究的方向，如 Google 的 AlphaGeometry 2 + Alphaproof 和 Anthropic 的 Claude 3.5。当前 LLM 的扩展性边际收益递减，强化学习和自我对弈成为新的技术范式。在新范式下，LLM 领域的扩展性会从模型参数量的增加转移到推理时间的计算增加。本文将探讨强化学习如何给 LLM 带来新一波的智能提升，以及这对未来投资、创业的影响。

关键观点总结

关键观点1: OpenAI 的新模型 Strawberry 预期使用合成数据方法提升 LLM 推理能力

新模型将大幅提高 LLM 的智能推理能力，特别是在数学解题、解字谜、代码生成等复杂推理任务。

关键观点2: 强化学习和自我对弈成为多个公司研究的方向

Google 的 AlphaGeometry 2 + Alphaproof 和 Anthropic 的 Claude 3.5 是强化学习和自我对弈的代表。

关键观点3: 当前 LLM 的扩展性边际收益递减，强化学习和自我对弈成为新的技术范式

新范式下，LLM 的扩展性会从模型参数量的增加转移到推理时间的计算增加。

关键观点4: 强化学习如何给 LLM 带来新一波的智能提升

在新范式下，LLM 的智能提升将主要来源于强化学习和自我对弈，而不是单纯的模型参数增加。

关键观点5: 强化学习和自我对弈对未来投资、创业的影响

强化学习和自我对弈为 LLM 领域带来了新的投资机会，包括 AI for coding、Reasoning model Lab、Vertical reward model 等。

免责声明