为什么 DeepSeek 大规模部署成本低，但本地运行昂贵？

主要观点总结

本文主要讨论了大规模AI模型在GPU上的推理过程，解释了为什么需要批量处理以及如何影响延迟和吞吐量。文章还提到了专家混合模型（MoE）的特点及其对批量处理的需求，以及GPU在大型矩阵乘法中的效率。

关键观点总结

关键观点1: GPU在大型矩阵乘法（GEMM）中的效率

GPU擅长进行大规模矩阵乘法，推理服务器通过批量处理令牌，将多个令牌堆叠成一个矩阵进行乘法运算，以提高效率。但这会导致延迟增加，因为用户需要等待批量填满后才能进行处理。

关键观点2: 专家混合模型（MoE）的需求

MoE模型由于拥有大量独立的前馈权重块和路由层，对GPU效率较低。需要通过批量处理来提高效率，但这会增加延迟。因此，MoE模型需要更大的批量大小来确保所有专家都能保持忙碌。

关键观点3: 大型管道的需求

大型模型通常有许多Transformer层，需要通过管道处理来提高推理速度。为了保持GPU始终处于活动状态，需要选择适当的批量大小和窗口大小，以避免管道气泡。

关键观点4: 注意力步骤的批量处理方式

注意力步骤的批量处理需要具有相同的形状（即序列中先前令牌的数量相同）。因此，必须同时运行相同形状的组，而不能仅维护单个队列。

关键观点5: 内存开销的问题

由于注意力输出是前馈网络（FFN）所需的，需要在内存中暂存，这会导致内存开销迅速增加。因此，需要在内存开销和效率之间找到平衡。