训练算力真的下降了吗？

主要观点总结

文章主要讨论了模型训练所需的算力随时间的变化以及相关的概念理解。文章指出，随着技术的发展，训练同一代模型所需的算力呈指数级降低，这得益于算法进步、算力本身的通缩以及数据蒸馏等因素。后发的模型如DeepSeek v3可以站在巨人的肩膀上，用更高效的方式训练。但文章也强调了概念上的误解和混淆，如训练范围上的混淆以及对成本、需求的预期。此外，文章还谈到了未来合成数据的重要性，以及算力在模型训练中的作用。最后，文章提到了应用生态的繁荣和推理需求的增长，认为训练所需算力只会越来越多。

关键观点总结

关键观点1: 模型训练所需算力随时间呈指数级降低。

这是由于算法进步、算力通缩和数据蒸馏等因素导致的。

关键观点2: 后发模型如DeepSeek v3可以站在巨人的肩膀上，用更高效的方式训练。

这得益于吸取前人经验，避免走坑，并能以更高效的方式实现类似性能。

关键观点3: 存在概念上的误解和混淆。

如训练范围上的混淆以及对成本和需求的理解不清。

关键观点4: 未来合成数据是突破数据天花板的重要来源。

随着公开互联网数据的枯竭，合成数据将成为重要的数据来源。

关键观点5: 训练所需算力总量在上升而非下降。

尽管某些模型的训练成本可能下降，但总体上看，实验室的训练算力总需求仍在增加。