生产级代码开源！百度百舸助力DeepSeek-V3.2推理服务吞吐提升超2倍

主要观点总结

百度百舷与SGLang社区合作，开源一套经过生产系统验证的MTP（Multi-Token Prediction）高性能推理代码，为DeepSeek-V3.2模型带来超过2倍解码吞吐量的性能提升。这套代码实现了为DeepSeek全新DSA架构量身定制的MTP，通过改变传统的自回归解码模式，以批量生成、集中验证的方式提高生成序列的效率。

关键观点总结

关键观点1: 开源高性能推理代码

百度百舷与SGLang社区合作，共同开源了一套经过生产系统严苛验证的MTP高性能推理代码，这套代码展现了出色的稳定性和可靠性。

关键观点2: DeepSeek-V3.2模型性能提升

SGLang社区实测表明，开源的MTP实现为最新的DeepSeek-V3.2模型带来了超过2倍解码吞吐量的显著性能提升。

关键观点3: MTP技术创新

MTP通过让模型在单个前向传播中一次性预测多个未来token，然后统一验证的方式，显著减少了生成完整序列所需的总步骤数，突破了效率瓶颈。

关键观点4: 与DeepSeek-V3.2的DSA架构深度适配

最新的DeepSeek-V3.2采用了全新的DSA架构，百度智能云的核心工作是对这一架构进行了深度适配，并将高效的MTP方案应用于内部业务中，实现了生产级场景的完整验证。

关键观点5: 未来合作展望

百度百舸 AI计算平台的研发团队将持续向SGLang社区开源更多生产级别的核心代码，与全球开发者携手，加速大模型技术的创新与普惠。