为什么 DeepSeek 大规模部署很便宜，本地很贵

主要观点总结

本文解释了为何有些AI模型在大规模服务时快速且便宜，但在本地运行时却慢且昂贵。文章详细描述了推理服务提供商如何为模型选择批处理大小，并在高吞吐量和低延迟之间进行权衡。文章还解释了为何GPU在大型矩阵乘法上效率最高，以及为何某些模型需要更大的批次大小以提高效率。最后，文章总结了在为个人使用场景运行模型时，如何平衡吞吐量和延迟。

关键观点总结

关键观点1: 推理服务提供商通过批处理来提高AI模型的吞吐量，但这会增加延迟。

批处理是将多个请求组合在一起，以形成一个大的矩阵乘法，从而提高GPU的利用率。但这也意味着用户必须等待直到批次填满，增加了延迟。因此，需要在吞吐量和延迟之间进行权衡。

关键观点2: 某些AI模型，如混合专家模型和具有许多层的模型，需要更大的批次大小以提高效率。

这些模型由于结构复杂，需要更多的计算资源，因此在大规模服务环境中需要更大的批次大小才能获得可行的吞吐量。

关键观点3: 在解码过程中，注意力机制只能为同一步骤的token批量处理。

这意味着调度器需要以短的“tick”运行，并且批处理需要来自不同用户的token。更大的批次会增加延迟，但它们通过允许FFN步骤中更大的GEMMs来提高吞吐量。