快手二面拷打：训练100B模型要多少显存？

主要观点总结

本文围绕大模型的训练/推理场景，介绍如何有效估算模型加载后的显存值，包括模型显存内容分析、计算公式以及如何优化显存。文章详细阐述了模型参数、优化器状态、激活值和梯度值的估算方法，并介绍了训练的并行计算公式。此外，文章还讨论了显存优化策略，包括多卡并行、算子优化、数据类型修改、消除框架副本、显存管理和底层API等方法。

关键观点总结

关键观点1: 模型显存内容分析

包括系统层和框架侧的显存消耗，用户可控的是框架侧的显存消耗，也是本文的分析重点。以PyTorch框架为例，通过显存可视化工具看一下训练过程中显存的消耗。

关键观点2: 训练场景下的显存消耗估算

包括模型参数、优化器状态、梯度值和激活值的估算方法，以及不同时刻显存的占比变化。通过数值的变化，可将显存消耗分为静态/动态值。

关键观点3: 训练的并行计算公式

包括Tensor并行、序列并行、Pipeline并行等，目标都是让GPU能够装下更大的模型。通过并行策略的调整，可以降低单卡的显存消耗。

关键观点4: 推理场景的显存消耗估算

相比训练场景，推理的显存量组成成分更简单，有一个简单的估算公式。

关键观点5: 显存优化策略

包括多卡并行、算子优化、数据类型修改、消除框架副本、显存管理和底层API等方法。这些策略可以帮助降低模型算法的显存消耗，扩大显存空间。