为什么说大模型训练很难？聊聊预训练的一些经验

主要观点总结

本文主要讨论了NLP领域大模型的训练现状和挑战。随着模型规模的增大，训练难度也相应增加。作者分享了自己在预训练模型方面的经验，并提到了训练大模型所面临的困难，如集群调度、数值计算稳定性、数据质量等。此外，文章还涉及了开源模型和数据的问题，以及创业公司与大公司在大模型研发上的差异。

关键观点总结

关键观点1: 大模型训练的现状和挑战

随着模型规模的增大，训练难度增加。集群调度是其中之一，此外还有数值计算稳定性和机器故障率等问题。

关键观点2: 预训练模型的经验分享

作者分享了个人在预训练模型方面的经验，包括参数设置、模型规模和训练稳定性等问题。

关键观点3: 数据在大模型训练中的重要性

数据质量直接决定了模型性能的上限。有价值的数据一般不会轻易开源，中文数据开源的情况和存在的问题也被讨论了。

关键观点4: 开源模型与数据的现状

介绍了目前开源的模型和数据的规模和存在的问题，以及未来可能的趋势。

关键观点5: 训练大模型的挑战

训大模型的试错成本非常高，风险比较大。需要系统性的配合和努力，包括数据、炼丹师、框架、硬件等几方面的人力配合。