今天看啥
专栏 RSS订阅(公众号)
温馨提示:订阅专栏后我们将尽力更新;开通 稳定极速订阅 可获得稳定更新保障,并降低更新延迟;无人订阅的专栏有可能不会更新
程序化API访问方法
基础API: 未开通,请先订阅专栏再开通
高级API: 未开通,请先订阅专栏再开通
扩展API接口一: 未开通,请先订阅专栏再开通
提交新专栏
专栏 二维码
今天看啥Skill
TodayRss-海外RSS稳定源
今天看啥
公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源
他们也喜欢这个专栏
 • 
RSS订阅
今天看啥  ›  专栏  ›  GiantPandaLLM
专注于大语言模型,CUDA,编译器,工程部署和优化等多个方向技术分享。我们不仅坚持原创,也规范转载知乎大佬们的高质量博文。希望在传播知识、分享知识的同时能够启发你,在人类通往AGI的道路上互相帮助(・ω\x26lt;)☆
免责声明:本专栏仅为信息导航参考,不代表原文立场或观点。 原专栏内容版权归原作者所有,如您为原作者并希望删除该专栏,请通过 【版权申诉通道】联系我们处理。
需要稳定、低延迟更新,可开通 RSS 稳定极速订阅 ,获得稳定更新保障并降低更新延迟
【ml-engineering 翻译系列】训练之模型并行
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
图解大模型训练系列:序列并行2,DeepSpeed Ulysses
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【翻译】在FSDP2中开启Float8 All-Gather
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
图解大模型训练系列:序列并行1,Megatron SP
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【ml-engineering 翻译系列】AI系统中的网络 benchmark
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
OpenAI o1技术初探3:如何让模型拥有自我纠错的能力
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【ml-engineering 翻译系列】AI系统中的网络 debug
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
OpenAI o1 技术初探2:使用MCTS增强推理能力(基于代码实践的解读)
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【ml-engineering 翻译系列】AI系统中的网络概述
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【ml-engineering 翻译系列】大模型推理
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【翻译】使用PyTorch FSDP和Torch.compile最大化训练吞吐量
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
课程升级、资源加码!万人共学的书生大模型实战营第4期正式起航!
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
OpenAI o1 技术初探1:整体框架,利用Test-Time Scaling Law提升逻辑推理...
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【翻译】使用PyTorch FSDP最大化训练吞吐量
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
图文详解 Continuous Batch:不写 CUDA Kernel 也能成倍优化推理效率
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
CUDA-MODE 课程笔记 第14课,Triton 实践指南
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
【翻译】CUDA-Free Inference for LLMs
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
揭秘 PagedAttention(上):如何管理 Paged KV Cache
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
图解KV Cache:加速大模型推理的幕后功臣
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  · 
Flex Attention API 应用 Notebook 代码速览
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  ·