华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一

主要观点总结

华为盘古团队提出了分组混合专家模型（MoGE）架构，解决了传统MoE模型专家激活频次高度不均衡的问题。新架构通过分组均衡路由技术实现跨设备的计算负载均衡，并在昇腾大规模集群上进行了高效训练。盘古Pro MoE大模型在多个领域取得了优异成绩，相比其他大模型，它以更小的参数量达到了相当或更好的性能。此外，该模型还解决了专家负载不均衡的问题，提高了硬件资源利用率和推理速度。该模型的成功应用标志着大模型从“参数军备竞赛”转向“实效主义”，为AI产业应用领域开辟了新的蓝海。

关键观点总结

关键观点1: 分组混合专家模型（MoGE）架构的提出

解决了传统MoE模型专家激活频次高度不均衡的问题，通过分组均衡路由技术实现跨设备的计算负载均衡。

关键观点2: 盘古Pro MoE大模型的性能优势

在多个领域取得了优异成绩，相比其他大模型，以更小的参数量达到了相当或更好的性能。

关键观点3: 解决专家负载不均衡问题

通过分组均衡路由技术和辅助损失函数解决专家负载不均衡问题，提高了硬件资源利用率和推理速度。

关键观点4: 行业价值

盘古Pro MoE的诞生标志着大模型从“参数军备竞赛”转向“实效主义”，为AI产业应用领域开辟了新的蓝海。