显著提升小LLM的性能，将所有kernel搞到一个巨大kernel中，即MegaKernel

主要观点总结

本文介绍了Mirage Persistent Kernel，一个能够自动将小语言模型（LLM）推理转化为融合的GPU kernel的系统，以消除启动开销，实现计算通信重叠，显著降低推理延迟。文章详细阐述了其编译器和运行时系统的工作原理，包括编译器如何将LLM的计算图转换为优化的任务图，以及运行时系统如何在单个GPU megakernel中执行任务调度。

关键观点总结

关键观点1: Mirage Persistent Kernel简介

Mirage Persistent Kernel是一个编译器和运行时系统，能够自动将多GPU LLM推理转换为高性能megakernel，释放端到端GPU融合的优势，同时只需要开发者付出最少的手动努力。

关键观点2: 编译器的工作原理

编译器将LLM的computation graph转换为优化的细粒度task graph，捕获依赖关系，实现更激进的跨层流水线。它使用Mirage kernel superoptimizer为每个task自动生成高性能CUDA实现。

关键观点3: 运行时系统的工作原理

运行时系统在单个GPU megakernel中完全执行task graph，实现对任务执行和调度的细粒度控制。它采用事件驱动执行模型，最小化协调开销，实现跨SM的可扩展执行。

关键观点4: MPK的优势和挑战

MPK通过消除kernel启动开销并最大程度地重叠计算、数据加载和跨GPU通信，实现了LLM推理的极低延迟。然而，处理现代GPU架构的支持、工作负载动态性以及高级调度和任务分配仍是正在开发的领域。

关键观点5: MPK的应用场景

MPK适合规模较小的LLM，如单卡能容纳的模型。对于大规模模型，其性能优势可能不明显。此外，MPK的方式相对不够灵活，对资源利用较大，多GPU适配难度也较大。

免责声明