AI的Scaling时代正在进入尾声？

主要观点总结

文章总结了近期NeurIPS论文以及行业前沿的一些观点，认为AI的Scaling时代正在进入尾声。文章通过三个主线解读了七篇论文，涵盖了关于“无脑Scaling + RLHF”的反思、从“堆大”转向“改结构 / 改动力学”、回到“生物与历史”的三块基石等主题。同时，文章也讨论了这一判断对于数据和模型分布、模型架构、训练动力学以及泛化极限的理解的提醒。

关键观点总结

关键观点1: AI的Scaling时代正在进入尾声，七篇NeurIPS最佳论文提供了对此的解读。

这七篇论文对AI的Scaling现象进行了反思，探讨了存在的问题和新的可扩展维度，为这一判断提供了支撑。

关键观点2: 数据分布和模型架构的重要性。

文章强调了数据和模型分布的问题，指出合成数据不等于免费午餐，需要设计能衡量输出多样性、长尾质量、个体偏好差异的基准。在模型架构方面，规模相近的情况下，更聪明的Recipe更有价值。

关键观点3: 训练动力学和泛化极限的重要性。

文章指出真正的泛化很多时候来自训练动力学，未来关于数据版权、记忆与泛化边界的争论将越来越依赖这种动力学层面的理论。同时，需要理解泛化极限以推动AI的发展。

关键观点4: 从“只有Scaling”回到“Research + 大算力”的时代。

文章最后引用了Ilya的话，指出时代没有从Scaling退回“什么都没有”，而是从“只有Scaling”回到了“Research + 大算力”并重。