灵魂拷问：大模型推理为什么要PD分离？

主要观点总结

本文介绍了关于LLM推理框架中的PD分离技术的多种方案，包括vLLM、Dynamo、Mooncake集成方案、SGLang等方案的实现细节和流程设计。

关键观点总结

关键观点1: vLLM的PD分离方案现状和使用connector-base方案的设计思路

vLLM的PD分离方法主要依赖KV传输来完成。开源的vLLM0.8.x版本依赖KV transfer来完成PD分离功能。而connector-base方案涉及到scheduler和worker的设计，包括连接器携带状态、修改调度器输出和工作模型运行前的准备等细节。

关键观点2: Dynamo架构在PD分离中的应用和流程

Dynamo架构分为内外两层，外层负责全局资源调度，内层以PD分离为基础构造实例。通过KV Cache连接内外层，实现高效的数据传输和计算资源分配。

关键观点3: Mooncake集成方案的流程设计和关键要素

Mooncake集成方案以KV Cache为中心，通过Transfer Engine支持多种数据传输协议。方案包括put和get操作，以及整体的工作流程设计。

关键观点4: SGLang的PD分离方案实施细节和互动机制

SGLang通过创建sender和receiver角色以及设计多个队列来实现PD分离。互动机制包括P和D之间的握手确认、KV传输通知、非阻塞查询等。

免责声明