全球AI算力报告出炉，LLM最爱A100！谷歌坐拥超100万H100等效算力

主要观点总结

文章介绍了机器学习硬件的发展趋势，重点讲述了全球AI加速器的增长情况，包括AI算力总量、性价比、性能提升等方面。文章还提到了不同类型的机器学习硬件的发展情况，以及一些知名公司在机器学习硬件方面的布局和优势。最后，文章公开了机器学习硬件数据集和数据分析源代码。

关键观点总结

关键观点1: 机器学习硬件的总量每年增长43%，价格下降30%。

全球AI加速器在开发和部署深度学习时代的机器学习模型方面发挥着重要作用。硬件类型除了传统的GPU外，还包括专门处理张量计算的TPU等。除了传统硬件厂商，一些新兴势力也开始参与“造芯”，算力持续提升。

关键观点2: 顶级硬件能效每1.9年翻一番。

文章指出，在优化机器学习数字格式和张量核心提供的额外改进等驱动因素推动下，机器学习硬件的性能得到了显著提升。每美元的性能提升迅速，并且任何给定精度和固定性能水平的硬件每年都会便宜30%。

关键观点3: 训练大型模型所需的处理器数量增加了20多倍。

随着大型语言模型（LLMs）的训练需求不断增长，用于训练大型模型的处理器数量也显著增加。例如，Google NASv3 RL网络在2016年使用了800个GPU进行训练，而Meta Llama 3.1 405B模型在2024年的训练中则使用了16,384个H100 GPU。

关键观点4: 谷歌、微软、Meta和亚马逊四大公司拥有大量AI计算能力。

这四家公司不仅拥有大量的AI计算能力用于内部开发，还为云客户提供计算资源。初步工作发现，截至2024年中，谷歌TPU的总算力大约是英伟达芯片的30%。而NVIDIA的芯片总可用计算能力自2019年以来大约每年增长2.3倍。