vLLM vs TensorRT-LLM 性能对比测试二（Towards Optimal Batch...

主要观点总结

本文测试了最新版（9.24）的trt-llm和vllm的性能，探讨了关键参数如最大批量大小和最大token数对两个框架性能的影响。实验设置包括调整这些参数，并使用定制数据集评估两种框架的吞吐量、首个token响应时间（TTFT）和每个输出token时间（TPOT）。文章还讨论了这些参数对预填充阶段和解码阶段的具体影响，并提供了关于如何调整这些参数的见解，以达到最优的LLM服务性能。

关键观点总结

关键观点1: 测试了trt-llm和vllm的性能

使用最新的版本进行了实验，并参考了NVIDIA/TensorRT-LLM github中的相关参数。

关键观点2: 探讨了关键参数对性能的影响

主要探讨了最大批量大小和最大token数这两个关键参数，它们对框架的吞吐量、TTFT和TPOT都有显著影响。

关键观点3: 使用了定制数据集进行评估

为了确保公平比较，使用了具有固定输入和输出长度的数据集，并设计了侧重于预填充阶段和解码阶段的不同数据集。

关键观点4: 讨论了参数对预填充和解码阶段的具体影响

分析了最大批量大小和最大token数在预填充阶段和解码阶段的不同影响，以及这些影响如何导致整体性能的变化。

关键观点5: 提供了参数调整的建议

根据实验结果，给出了关于如何调整最大批量大小和最大token数以优化LLM服务性能的见解。

免责声明