字节跳动大规模推荐模型训练系统Primus亮相系统顶会ATC 2025

主要观点总结

本文介绍了字节跳动团队开发的深度推荐模型统一训练系统Primus，旨在解决大规模深度学习推荐模型训练面临的三重困境。通过与浙江大学、上海交通大学合作，Primus实现了统一资源调度、统一数据编排和统一训练范式的三大核心设计，并在实际DLRM训练作业上取得了卓越成效。自投入生产以来，Primus已成功支撑字节跳动内部多项业务，并带动搜广推收益持续增长。

关键观点总结

关键观点1: 背景介绍

随着字节跳动内部推荐业务的迅猛发展，大规模DLRM训练面临资源调度割裂、数据编排复杂和模型时效性不足等三大痛点。

关键观点2: Primus系统的创新点

Primus通过统一资源调度、统一数据编排和统一训练范式的设计，解决了上述问题。具体包括：引入统一资源控制器和动态扩缩容管理器进行资源整合；通过抽象数据定义和获取逻辑优化数据编排速度；提供混合训练推荐模型框架，系统性支持记忆塔和适应塔的双塔结构。

关键观点3: Primus系统的实际成效

自2019年投入生产以来，Primus已稳定支撑字节跳动内部抖音、今日头条、西瓜视频等业务，并带动搜广推收益持续增长。实际DLRM训练作业上的评估也论证了Primus系统的卓越能力。

免责声明