SGLang 优化Triton FusedMoE 的一个新技巧​

主要观点总结

本文介绍了蚂蚁在SGLang中对FusedMoE的优化，特别针对down projection使用了TMA优化。通过优化内存访问模式、调整配置参数和使用真实数据tuning，实现了计算利用率和性能的大幅提升。

关键观点总结

关键观点1: 发现问题

通过profiling发现down projection的计算利用率低，延迟不合理。

关键观点2: 分析问题

找出内存访问模式、配置参数、expert分布等多个影响因素。

关键观点3: 提出方案

针对性地使用TMA优化、调整配置、使用真实数据tuning。

关键观点4: 验证效果

从kernel级别到端到端，全面验证性能和精度。最终实现计算利用率大幅提升，单kernel延迟降低，端到端TTFT降低8-9%。