基于 chunked prefill 理解 prefill 和 decode 的计算特性

主要观点总结

本文主要介绍了SGLang中的chunked prefill技术，通过对比GPT对chunked prefill的理解与实际技术的差异，强调了理解新技术的重要性。文章详细解释了prefill和decode阶段的差异，以及其在GPU上的运行效率。同时介绍了chunked prefill的两步优化，以及transformer architecture的相关知识。最后，文章探讨了不同推理框架存在的低效原因和解决方案，强调了chunked prefill通过利用model parameters reuse来降低decode开销的重要性。

关键观点总结

关键观点1: Chunked Prefill介绍及重要性

Chunked Prefill是SGLang中的一种技术，用于处理输入prompt的所有token，并在很小的batch size时就能打满GPU utilization。它的重要性在于通过优化，提高了GPU的使用效率。

关键观点2: Prefill和Decode的差异及优化

Prefill阶段会并行处理所有token，而Decode阶段每次只生成一个token。因此，Prefill在batch size很小时就能占满GPU效率，而Decode阶段在batch size很大时才能占满。针对这些差异，chunked prefill进行了两步优化：将长短不一的prompts拆分为长短一致的chunks进行prefill，并在chunks间插入/捎带其他完成了prefill的prompts的decode需求。

关键观点3: Transformer Architecture与Chunked Prefill的关系

Transformer Architecture中的decoder block的计算可以看作是几个操作的总和，其中prefill和decode阶段的操作是一致的。Chunked Prefill针对prefill阶段进行了优化，从而提高了GPU的使用效率。

关键观点4: 推理框架的低效原因及解决方案

推理框架存在两个低效原因：decode阶段的memory boundary和pipeline parallelism带来的pipeline bubble。Chunked Prefill通过利用model parameters reuse来降低decode的开销，从而解决了这些问题。