DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡

主要观点总结

本文介绍了DeepSeek在GitHub上开源的LPLB（Linear-Programming-Based Load Balancer），这是一个基于线性规划的并行负载均衡器，旨在优化MoE（混合专家）模型的专家并行工作负载分配。LPLB是对EPLB的扩展，解决了MoE训练中的动态负载不平衡问题。

关键观点总结

关键观点1: 项目背景与目的

DeepSeek开源LPLB旨在解决MoE模型在训练过程中的动态负载不平衡问题，通过与英伟达NVLink连接的GPU集群中的机制类似，优化专家并行工作负载分配。

关键观点2: 核心功能与实现

LPLB通过动态重排序、副本构建和最优Token分配等机制实现动态负载均衡。其内置的LP求解器使用单SM内点法，并利用NVIDIA的cuSolverDx和cuBLASDx库进行线性代数运算。工作负载统计信息可通过多种方式获取。

关键观点3: 工作原理与机制

LPLB是对EPLB的扩展，解决了由数据分布引起的静态不平衡和训练过程中小批次随机性引起的每批次波动。通过冗余专家、边容量、LP优化等具体机制实现负载均衡。

关键观点4: 支持的拓扑结构

LPLB支持通过修改r2o矩阵探索自定义拓扑，包括Cube、Hypercube和Torus等典型拓扑结构，以适应不同规模的GPU集群。

关键观点5: 局限性

LPLB存在一些局限性，如成本估算的问题、求解延迟以及极端不平衡情况下的性能表现。此外，安装和使用LPLB需要满足一定条件，如CUDA Toolkit的版本要求等。