AI部署以及工业落地学习之路（文章较长，建议收藏）

主要观点总结

本文主要介绍了AI部署的基本概念、技术要求和流程，以及相关的工具和框架。包括AI部署的定义、做什么技术准备、常用推理框架和部署提速的方法等。

关键观点总结

关键观点1: AI部署的定义和重要性

AI部署是将训练好的模型部署到线上，保证模型的稳定性和速度。这是一个具有挑战性的任务，需要算法知识和扎实的工程能力。

关键观点2: 学习AI部署的基础

学习AI部署需要掌握算法知识、工程能力以及计算机原理、编译原理等基础知识。还需要了解深度学习的基础知识，包括模型训练、模型优化和模型设计。

关键观点3: AI部署中提速的方法

AI部署中提速的方法包括模型结构剪枝、蒸馏、稀疏化训练、量化训练、算子融合、计算图优化和底层优化等。其中量化训练是部署提速方法之一，可以在INT8精度的基础上对模型进行量化，提高模型在特定CPU或GPU上的速度和吞吐。

关键观点4: 常用的推理框架

常用的推理框架包括Caffe、Libtorch（torchscript）、TensorRT、OpenVINO等。这些框架已经被很多公司用于生产环境，可以加速模型的推理速度。

关键观点5: AI部署的流程

AI部署的流程包括模型转换、服务部署和模型优化等步骤。模型转换的方式有多种，如Pytorch->ONNX->trt、Pytorch->trt和Pytorch->torchscipt->trt等。服务部署的常见搭配包括triton server + TensorRT/libtorch和flask + Pytorch Tensorflow Server等。