TensorRT-LLM初探（三）最佳部署实践

主要观点总结

本文介绍了NVIDIA AI技术开放日关于TRT-LLM最佳部署实践的讲座内容，包括TensorRT-LLM的介绍、端到端workflow、如何debug、如何添加新的模型、安装过程、转换权重等关键点。文章还涵盖了调试方法、编译加速、模型精度测试以及新模型的添加流程等。

关键观点总结

关键观点1: TensorRT-LLM介绍

介绍TensorRT-LLM的功能和定位，包括大模型推理支持，模型结构，runtime调度，kernels优化，量化技术等。

关键观点2: 端到端workflow

描述使用TRT-LLM进行大模型推理的完整流程，包括转换权重格式、搭建网络结构、build engine、测试和运行等步骤。

关键观点3: 如何debug

介绍调试TRT-LLM的两种logger，可通过设置环境变量或传入参数开启，帮助定位错误位置。

关键观点4: 安装过程

说明TRT-LLM的安装方式，包括利用docker自行编译源码、通过pip安装、借用NVIDIA NGC提供的镜像等方式。

关键观点5: 转换权重

介绍TRT-LLM统一了convert接口的好处，以及权重转换后需要把权重塞到模型中的过程。

关键观点6: 如何添加新的模型

介绍添加新模型的流程，包括仿照llama的实现，实现convert权重相关的地方，以及如果官方提供的例子没有模型中某些层的实现时的处理方法。