GTX 4090 的 cuda graph 诡异

主要观点总结

本文主要探讨了模型推理时在GTX 4090上是否应开启CUDA Graph的问题。通过一系列实验观察，发现在不同模型和配置下，CUDA Graph对性能的影响不尽相同。文章总结了在哪种情况下应开启CUDA Graph，以及背后的可能原因。

关键观点总结

关键观点1: GTX 4090上的模型推理性能与CUDA Graph的开启与否有关。

作者在GTX 4090上使用了VLLM、HuggingFace和SGLang等推理框架，并测试了不同模型在不同配置下的性能。发现对于某些模型和配置，开启CUDA Graph对性能无影响，而对于其他模型和配置，开启CUDA Graph能显著提高性能。

关键观点2: 特定情况下需要开启CUDA Graph。

作者在实验中观察到，在GTX 4090上，对于某些特定的模型配置（如TP4或TP8），需要开启CUDA Graph来保持高性能。而对于其他配置（如TP1/TP2），开启CUDA Graph对性能没有明显影响。

关键观点3: 实验结果可能与底层kernel launch的实现有关。

作者猜测开启与否的背后原因可能与底层kernel launch的实现有关。他提到在不同配置下，开启CUDA Graph可能会影响kernel launch的时间，从而影响推理性能。