全是细节 | 聊一聊做Pretrain的经验

主要观点总结

本文介绍了如何从零开始进行预训练工作，包括背景、数据、清洗、去重、配比、顺序、流水线、实验、评估等多个环节。作者详细阐述了每个环节的重要性，以及在预训练工作中需要注意的技巧和坑点。文章强调，预训练是一个成本极高的工作，需要以稳健为主，避免盲目追求创新。同时，文章也推荐了一些开源做法和工具，并鼓励读者通过改造benchmark和概率探针来评估模型的效果。

关键观点总结

关键观点1: 背景篇

介绍了预训练工作的重要性和时代背景，以及开源模型对自研预训练模型的影响。

关键观点2: 数据篇

讨论了数据爬取、清洗、去重、配比、顺序和流水线等关键步骤，强调了数据清洗的重要性，并给出了具体建议。

关键观点3: 实验篇

介绍了在小模型上进行实验、使用scaling_law以及训练框架的选择等，强调了实验阶段的重要性。

关键观点4: 评估篇

讨论了通过PPL、benchmark、概率探针等方式评估模型效果，强调了评估环节的重要性。

关键观点5: 总结篇

总结了预训练工作的全环节，强调了每个环节的重要性，并给出了建议和推荐。