GPT-4.5证明 Scaling Law 持续有效｜Sam Altman最新直播实录

主要观点总结

OpenAI CEO Sam Altman与GPT-4.5核心团队成员直播分享GPT-4.5的研发历程。GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型，最终从有效算力投入上看是达到了。整个项目在某种意义上是验证Scaling Law有效性的大型实验，结果证明Scaling Law持续有效，并可能在未来很长时间内依然有效。预训练规模要实现下一个10倍或100倍增长，需要数据效率。GPT模型利用计算吸收信息效率极高，但从数据中获取洞察的深度似乎有上限。当算力增长远超数据增长时，数据成为瓶颈。更好的预训练倾向于提升模型广泛的基础智能和泛化能力，这与推理能力的提升形成良好互补。打造如此巨大的模型需要很多人、很多时间，还有很多算力，并需要团队密切合作，确保机器学习和系统能在规模化部署时良好协同工作。

关键观点总结

关键观点1: GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型

GPT-4.5项目启动于约两年前，目标是实现比GPT-4聪明10倍的模型，从有效算力投入上看，这一目标已经达到。

关键观点2: 整个项目在某种意义上是验证Scaling Law有效性的大型实验

整个GPT-4.5项目在某种意义上是验证Scaling Law有效性的大型实验，结果证明Scaling Law持续有效，并可能在未来很长时间内依然有效。

关键观点3: 预训练规模要实现下一个10倍或100倍增长，需要数据效率

GPT模型利用计算吸收信息效率极高，但从数据中获取洞察的深度似乎有上限。当算力增长远超数据增长时，数据成为瓶颈。因此，预训练规模要实现下一个10倍或100倍增长，需要数据效率。

关键观点4: 更好的预训练倾向于提升模型广泛的基础智能和泛化能力

更好的预训练和无监督学习往往能够提升模型广泛的基础智能，并且对提升泛化能力非常有帮助。我们发现这与推理能力的提升形成了很好的互补。

关键观点5: 打造如此巨大的模型需要很多人、很多时间，还有很多算力

打造如此巨大的模型需要很多人、很多时间，还有很多算力，并需要团队密切合作，确保机器学习和系统能在规模化部署时良好协同工作。