一文读懂什么是AI Infra和大模型算法工程

主要观点总结

本文主要介绍了AI Infra和大模型算法工程的概念及关键要点，包括算法、算力和数据的关系，AI infra的角色以及当前行业的发展状况。文章还介绍了底层算子、AI框架、分布式训练框架、分布式推理框架等相关知识，并详细阐述了目前主流分布式训练加速库的特点。

关键观点总结

关键观点1: AI Infra和大模型算法工程简介

AI Infra是介于算法和算力芯片之间的桥梁，能让算法工程师更快速地把算法在算力集群上高效地运行起来。大模型的三要素是算法、算力和数据，需要海量的数据、上千卡甚至万卡算力集群和优秀的算法才能训练出优质的大模型。

关键观点2: AI Infra的关键技术

AI Infra包括维度、关键词、一句话定义、数据Feature Store/数据治理、训练（分布式训练/显存优化/性能优化）、推理（Serving/KV Cache/编译器）等方面。需要搭建起算法和算力之间的桥梁，让算法能在算力集群上高效运行。

关键观点3: 行业现状与发展趋势

目前AI Infra发展主力在开源社区，各大头部AI应用厂商和算力厂商都有AI Infra岗位的需求。同时，大模型的发展和硬件的发展速度不匹配，导致现有的infra不能满足新的算法带来的需求。因此，AI infra技术需要不断演进来匹配新算法带来的新需求。

关键观点4: 主要分布式训练加速库介绍

目前主流的分布式训练加速库有Megatron、MindSpeed、DeepSpeed和FSDP等。其中Megatron是NVIDIA推出的基于Pytorch的大模型加速库，是目前开源大模型训练加速库中性能最好的。MindSpeed是专为昇腾设备设计的大模型加速解决方案，通过插件化适配的方式支持原生Megatron能力的同时提供亲和昇腾NPU的训练加速能力。