|
|
降低RL训推共卡开销:SGLang/vLLM的无缝切换实现与分析 InfraTech · 公众号 · · 2 月前 · |
|
|
图解Infra视角下的强化学习性能优化 InfraTech · 公众号 · · 3 月前 · |
|
|
推理长序列利器:ChunkedPrefill&FlashDecoding原理详解 InfraTech · 公众号 · · 3 月前 · |
|
|
硬核:分布式推理优化思路分享 V2 InfraTech · 公众号 · · 3 月前 · |