大模型面经—分布式训练指南

主要观点总结

本文是分布式训练指南理论篇，主要解答了关于分布式训练的一些问题，包括训练LLM时显存规模与参数的关系、使用多显卡加速训练的方法、当显卡显存不足以装下完整模型时的解决方案、推理过程中的优化方式，以及DP、TP、PP三种并行方式的叠加条件等。

关键观点总结

关键观点1: 文章介绍了训练LLM时显存规模与参数的关系。

主要公式是模型本身占用显存+多个batch数据运算的存储，具体跟实际精度、模型大小、中间变量计算以及batch有关。

关键观点2: 文章解答了如果有N张显存足够大的显卡，如何加速训练的问题。

可以通过数据并行（DP）充分利用多张显卡的算力。

关键观点3: 文章解决了当显卡显存不足以装下一个完整的模型时的问题。

可以采用流水线并行（PP），需要分层加载，把不同的层加载到不同的GPU上。

关键观点4: 文章提供了推理过程中的优化方式。

除了流水线并行（PP），还可以采用张量并行（TP），在DeepSpeed里叫模型并行（MP）。

关键观点5: 文章阐述了DP、TP、PP三种并行方式的叠加条件。

三种并行方式可以叠加，即3D并行，但需要有节点内显卡间NVLINK超高速连接，并且满足通信量要求。