Pretrain ScalingLaw真的终结了么?

主要观点总结

本文讨论了关于Pre-training Scaling Law是否终结的问题，并探讨了当前大模型发展的挑战和可能的新方向。文章提到了合成数据（Synthetic data）和模型架构的改进，如Mamba和MoE等。同时，文章还关注了一些基础层面的研究工作，如softmax、LayerNorm的优化以及图神经网络等相关领域的发展。最后，文章指出Pretrain scaling law的终结并非仅因数据不足，还有很多细节工作可以进行，但在math intuitive上与AGI的距离仍然较远。

关键观点总结

关键观点1: Pre-training Scaling Law的讨论

文章引发了关于Pre-training Scaling Law是否终结的疑问，并探讨了终结与否的多种因素，包括算力的增长和数据的限制等。

关键观点2: 大模型发展的新方向

文章提到基于Transformer的“油车大模型”路径的终结，探讨新的“电车大模型”的可能方向，以及相关的数学基础问题。

关键观点3: 模型架构和算法的改进

文章介绍了Mamba、MoE等模型架构的改进，以及相关的算法优化，如Softmax、LayerNorm和Optimizer等。

关键观点4: 基础设施与算法的结合

文章还强调了基础设施和算法的结合，特别是在底层算力设施上解决一些更难的问题，如MoE的alltoall通信等。

关键观点5: 基础层面的研究

文章最后提到了一些基础层面的研究工作，如图神经网络和代数几何/代数拓扑等方向的发展，以及相关的论文和研究成果。