今天看啥
专栏 RSS订阅(公众号)
温馨提示:订阅专栏后我们将尽力更新;开通 稳定极速订阅 可获得稳定更新保障,并降低更新延迟;无人订阅的专栏有可能不会更新
程序化API访问方法
基础API: 未开通,请先订阅专栏再开通
高级API: 未开通,请先订阅专栏再开通
扩展API接口一: 未开通,请先订阅专栏再开通
提交新专栏
专栏 二维码
今天看啥Skill
TodayRss-海外RSS稳定源
今天看啥
公众号rss, 微信rss, 微信公众号rss订阅, 稳定的RSS源
他们也喜欢这个专栏
 • 
RSS订阅
今天看啥  ›  专栏  ›  GiantPandaLLM
专注于大语言模型,CUDA,编译器,工程部署和优化等多个方向技术分享。我们不仅坚持原创,也规范转载知乎大佬们的高质量博文。希望在传播知识、分享知识的同时能够启发你,在人类通往AGI的道路上互相帮助(・ω\x26lt;)☆
免责声明:本专栏仅为信息导航参考,不代表原文立场或观点。 原专栏内容版权归原作者所有,如您为原作者并希望删除该专栏,请通过 【版权申诉通道】联系我们处理。
需要稳定、低延迟更新,可开通 RSS 稳定极速订阅 ,获得稳定更新保障并降低更新延迟
CUDA-MODE 课程笔记 第29课 Triton内部机制
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
ModelServer:基于 SGLang 的前端分发系统
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
如何正确理解NVIDIA GPU利用率的概念
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
RMSNorm的精度陷阱:记一次LLM推理精度调查
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
图解大模型训练系列:序列并行4,Megatron Context Parallel
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
CUDA-MODE 课程笔记 第28课 用在生产环境中的LinkedIn Liger kernel
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
GPU 矩阵乘实际可达最大FLOPS测量工具
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
强推理模型书生InternThinker开放体验:自主生成高智力密度数据、具备元动作思考能力|通专融...
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
NCCL 与 NVIDIA TOPO
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
基于 chunked prefill 理解 prefill 和 decode 的计算特性
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
CUDA-MODE课程笔记 Lecture 16 通过CUDA C++核心库把llm.c移植为llm...
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
SGLang 后端原文解析
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
AwesomeCLIP---100+篇CLIP相关工作整理
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
小白视角:利用 vllm serve 新的 Embedding Model
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
小白视角:利用 SGL 来 Serve Embedding Model
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
小白视角:vllm 迁移到 SGLang 的体验与收获
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
【ml-engineering 翻译系列】计算加速器之cpu
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
梳理下Flash Attention的dispatch逻辑(文末免费送书)
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
图解大模型训练系列:序列并行3,Ring Attention
GiantPandaLLM  ·  公众号  · 3D  ·  1 年前  · 
【ml-engineering 翻译系列】训练之模型并行
GiantPandaLLM  ·  公众号  · 3D  ·  2 年前  ·