腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道｜智者访谈

主要观点总结

本文介绍了腾讯机器学习平台部总经理王迪先生对于人工智能大模型、机器学习平台以及AI基础设施的深刻见解。文章涉及大模型的重要性、腾讯自研大模型的历程、MoE Scaling Law的探索、多模态和全模态的未来发展、以及AI基础设施的未来趋势。王迪强调了在大模型研发过程中，需要高效整合工程、算法、数据和业务应用，并指出大模型不仅是技术的革新，更是商业和产业的未来。腾讯通过探索和实践，形成了独特的研发链路，为理解大模型提供了独特的视角。同时，王迪预测了AI基础设施未来的发展方向，并强调了对于AI算力的集群化和规模化需求。

关键观点总结

关键观点1: 大模型的重要性

大模型正经历一场由大模型引发的革命，重塑我们对AI能力的认知，构筑起充满挑战与机遇的技术迷宫。面对快速演变的市场，企业如何在大模型投入与应用间寻求平衡，是技术与商业的关键问题。

关键观点2: 腾讯自研大模型的历程

腾讯选择从零自研大模型，深入探索大模型研发和工程的整个链路，从基础设施的构建到训练推理框架的优化，再到业务场景的落地，为大模型研发提供了独特的视角。

关键观点3: MoE Scaling Law的探索

在探索 MoE 的 Scaling Law 中，腾讯在小模型上进行了大量实验，以预测万亿 MoE 模型的训练过程，提升研发效率。

关键观点4: 多模态和全模态的未来发展

腾讯正在积极布局多模态和全模态，探索视频生成和理解的进展，预测未来会走向一个统一的模型，但还需要一定的时间。

关键观点5: AI基础设施的未来趋势

王迪预测AI基础设施未来的发展方向，包括基于AI算力的集群化和规模化需求，以及统一的调度平台和计算能力的提供。