摩尔线程王华：算力需求千倍增长，大集群和FP8成为强需求

主要观点总结

摩尔线程构建了支持多种数据类型的混合精度训练方案，完成了DeepSeek-V3的混合精度训练复现。本文围绕摩尔线程副总裁王华的演讲，介绍了大模型训练算力的需求增长、混合精度训练、FP8训练技术的演进以及摩尔线程在FP8训练方面的技术和实践。演讲内容涵盖了大规模训练的算力需求趋势、混合精度训练的方法、FP8训练的挑战及技术创新、摩尔线程对FP8训练的全栈支持及性能提升等。

关键观点总结

关键观点1: 大模型训练算力需求激增

近五年来，大模型训练的算力需求增长近1000倍，驱动力来自参数规模与数据量双向增长。

关键观点2: 混合精度训练成为解决方案

为了解决算力需求激增的问题，摩尔线程采用混合精度训练的方法，通过识别出对精度要求不高的操作，将其替换为低精度计算，以提高算力。

关键观点3: FP8训练的挑战与创新

FP8训练面临数值范围和精度两个核心挑战。数值范围局限可能导致梯度爆炸和梯度消失问题，而精度损失则可能引发舍入误差和信息丢失。针对这些挑战，FP8训练技术在数值缩放、Tensor Core技术等方面取得进展。

关键观点4: 摩尔线程在FP8训练方面的实践

摩尔线程全栈支持FP8训练，性能提升20%~30%。公司提供了全功能GPU计算卡、夸娥智算集群系列产品以及丰富的软件栈支持，助力客户实现开箱即用的高效训练。

免责声明