今天看啥  ›  专栏  ›  InfoQ

刚刚,DeepSeek 突然公布成本利润率高达545%!做 AI Infra 的该慌了?!

InfoQ  · 公众号  · 科技媒体  · 2025-03-01 15:14
    

主要观点总结

DeepSeek开源项目发布最新动态,披露大规模部署成本和收益。其V3/R1架构通过大规模跨节点专家并行优化推理系统,实现更高的吞吐和更低的延迟。项目开源部分模块,降低社区复现难度。DeepSeek宣布调整API调用价格,并强调其成本定价原则。官方详解文章涉及大规模跨节点专家并行、计算通信重叠、负载均衡等方面内容,并分享线上系统实际统计数据。文章还提到DeepSeek V3和R1服务的GPU使用情况和成本收益情况。

关键观点总结

关键观点1: DeepSeek V3/R1架构特点

由大量小Expert组成,与主流模型结构有显著差异,需遵循DeepSeek报告描述的方法以达到最佳效率。DeepSeek开源部分模块降低了复现难度。

关键观点2: 大规模跨节点专家并行(Expert Parallelism / EP)

是实现DeepSeek V3/R1推理系统优化目标的关键技术,通过增加 overall batch size来为每个专家提供足够的expert batch size,实现更大吞吐、更低延时。

关键观点3: 计算通信重叠和负载均衡

多机多卡的专家并行引入较大通信开销,通过双batch重叠掩盖通信开销提高整体吞吐。同时,实现计算负载均衡和通信负载均衡以提高系统效率。

关键观点4: DeepSeek的API调用价格调整

DeepSeek调整API调用价格,强调其根据成本定价的原则。实际收入和成本情况也有所提及。

关键观点5: 线上系统实际统计数据

分享了关于DeepSeek V3和R1服务的GPU使用情况、成本收益、token处理量等实际统计数据。


免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址: 访问原文地址 (快捷配置)
总结与预览地址:访问文章预览/总结
文章地址: 访问文章快照