谈谈大模型推理KVCache加速和内存池化

主要观点总结

文章主要讨论了PD（Prefill-Decoding）分离的方法对整个推理基础设施的影响。包括推理系统构建分布式内存池和层次化存储的需求，以及通用CPU算力增强对降低推理成本的作用。文章还分析了PD分离的瓶颈，包括KVCache转移路径、PCIe瓶颈和基础设施现状。同时提供了一些解决方案，包括软件算法、硬件互联和系统角度的考虑。文章还提到了一些实例和参考资料。

关键观点总结

关键观点1: PD分离对推理基础设施的影响

随着通用CPU算力的增强和PD分离的趋势，构建分布式内存池和层次化存储的需求越来越强烈，这有助于降低推理成本。

关键观点2: PD分离的瓶颈

PD分离的瓶颈包括KVCache转移路径、PCIe瓶颈和基础设施现状。其中，KVCache转移路径相对较长，受到PCIe交换机和CPU自身PCIe Lane的限制，以及现有ScaleOut网络互联带宽的限制。

关键观点3: 解决方案

从软件算法、硬件互联和系统角度提供了解决方案。包括优化软件算法降低Prefill到Decoding实例间转发数据的Burst，改进硬件互联以降低KVCache Load的量，以及构建更大规模的内存池和分布式内存对象服务等。