专栏名称: 数智前线
关注数字化和智能化,汇聚最专业的人,提供有料有趣有价值的内容。
提交新专栏
今天看啥Skill
TodayRss-海外RSS稳定源
目录
今天看啥  ›  专栏  ›  数智前线

中国企业加速AI部署,昇腾大EP方案成首选,H20遇挑战

数智前线  · 公众号  · 科技创业 科技自媒体  · 2025-03-16 17:08
    

主要观点总结

本文介绍了DeepSeek技术引发的人工智能热潮,企业推理需求的急剧扩大,以及在这个过程中千行百业拥抱DeepSeek的情况。DeepSeek技术的出现带动了AI部署的发展,推动产业进入一个新阶段。同时,DeepSeek开源周后,推理集群的选择和技术发展也备受关注。文章还介绍了昇腾大EP方案的技术特点和对企业AI部署的支持情况。

关键观点总结

关键观点1: DeepSeek技术引发的人工智能热潮

DeepSeek的爆火,让政务、金融、教育、医疗等千行百业掀起尝鲜浪潮。一些企业从试用阶段快速转向推理集群部署,对算力扩容的需求急剧扩大。

关键观点2: 企业推理需求激增

随着DeepSeek模型的应用,企业推理需求急剧扩大。企业开始探讨算力扩容问题,寻求支撑高并发、低时延的大规模专家并行推理集群解决方案。

关键观点3: DeepSeek开源周后,推理集群的技术发展

DeepSeek开源周后,推理集群的选择和技术发展备受关注。昇腾和科大讯飞联合团队率先实现了8机64卡的跨节点专家并行推理集群。此外,DeepSeek的推理集群贴合小专家MoE架构,降低了对高算力单卡的依赖。

关键观点4: 昇腾大EP方案的优势

昇腾大EP方案通过技术创新实现了高效并行计算,为AI推理提供了参考之路。该方案解决了大EP方案中负载均衡和卡间通信的挑战,提高了推理集群的吞吐量和降低了时延。

关键观点5: 英伟达H20的挑战

英伟达H20因算力短板和出口管制等不确定因素,面临挑战。在DeepSeek采用的MoE架构下,H20在预填充阶段和解码阶段都表现不佳,无法充分发挥DeepSeek专家并行机制带来的高吞吐优势。


免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址: 访问原文地址
总结与预览地址:访问文章预览/总结
文章地址: 访问文章快照