一起理解下LLM的推理流程

主要观点总结

本文总结了基于TRT-LLM的LLM推理流程的关键点，包括推理流程、推理两阶段、推理评测指标和推理运行时的情况。

关键观点总结

关键观点1: LLM推理流程

输入的prompt是放在GPU中处理的，输出时是一个一个出来的。LLM推理分为两个阶段：prefill阶段和decode阶段。prefill阶段处理输入的所有token，而decode阶段则自回归地生成每一个token。

关键观点2: 推理两阶段

prefill阶段会并行处理输入的所有token，而decode阶段是自回归的，每次只生成一个token。两个阶段在资源需求和效率上有显著不同。

关键观点3: 推理评测指标

评估LLM推理性能的指标包括TTFT（Time to First Token）、TPOP（每秒钟能生成的token数）和ITL（Inter-token Latency）。ITL提供了更细粒度的性能视图，能够反映出生成过程中的变化和波动。

关键观点4: 推理运行时

LLM推理运行时的显存利用与普通小模型有很大不同。大模型的显存主要在prefill和decode阶段占用，而模型权重一般只存一份。