专栏名称: GiantPandaLLM

专注于大语言模型，CUDA，编译器，工程部署和优化等多个方向技术分享。我们不仅坚持原创，也规范转载知乎大佬们的高质量博文。希望在传播知识、分享知识的同时能够启发你，在人类通往AGI的道路上互相帮助(･ω\x26lt;)☆

购买VIP

购买成为VIP，可查看文章或者RSS订阅

提交新专栏

今天看啥

公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源

RSS极速订阅

小宇宙RSS订阅方法

X平台RSS订阅方法

RSS代理RSS订阅方法

Telegram频道RSS订阅方法

RSSHub订阅方法

B站投稿RSS订阅方法

雪球动态RSS订阅方法

微博RSS订阅方法

TodayRss-海外RSS稳定源

大模型训练：Megatron-Core中的通信优化

GiantPandaLLM · 公众号 · 3D · 2024-05-24 19:55

原文地址：访问原文地址
总结与预览地址：访问文章预览/总结
文章地址：访问文章快照

分享到微博

推荐文章

GiantPandaLLM · SGLang Custom AllReduce v1 线程模型和工作原理细节

18 小时前

AMZ123跨境电商 · 月销售额近300万美元！亚马逊十个热销产品推荐

1 年前

tombkeeper · 我以前做过一个思想实验：如果穿越到古代做个老百姓，那么在哪个时期-20250727184700

1 年前

平安银行 · 您有至高【450元立减券包】待领取，包含300元还款券包和150元微信立减金券包，快去看看吧~

11 月前

10 月前

51找翻译 · 20-40K·13薪 | 途游游戏招聘海外游戏本地化

7 月前