小红书大模型团队的探索与实践：从 0 到 1 构建自研 RLHF 框架

主要观点总结

于子淇在小红书大模型团队负责RLHF训练框架的探索和实践。他们面临的挑战包括提高训练效率、解决精度对齐问题、提高收敛速度和训练效果等。他们的目标是打造高效的训练系统，以支持公司在大模型方向上的探索和应用。本文介绍了于子淇在QCon上海2024大会上的分享，包括RLHF的背景和技术选择、框架设计、精度对齐、收敛速度提升等方面的内容。

关键观点总结

关键观点1: RLHF在多模态大语言模型训练中的作用和背景

RLHF通过人类反馈信号强化学习方法优化模型，减少幻觉，提升模型的泛化能力。小红书团队面临业务上的挑战，选择了PPO算法作为RLHF阶段的主要算法。

关键观点2: 小红书RLHF训练框架的设计和创新

框架采用actor/critic的offload同构组网架构和Pipeline优化提高训练效率。通过精度对齐和Medusa算法提升模型表现。收敛速度超越trlx一倍，训练速度超越openrlhf一倍。

关键观点3: 面临的挑战和未来计划

团队面临多模态LLM在RLHF训练时的挑战，规划通过训练速度优化和算法探索进行迭代。未来可能面临更复杂的架构和性能挑战，以及RL在多模态大语言模型训练中的新挑战。

免责声明