AAAI 2024 | MoDE：一种专家间相互蒸馏的混合专家模型

主要观点总结

本文介绍了论文“MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts”，该论文提出了一种新的方法，即混合蒸馏专家（MoDE）方法。该方法在专家之间应用适度的相互蒸馏，提升混合专家（MoE）模型整体的泛化能力。文章还介绍了论文的创新点，包括设计协作式知识蒸馏损失函数、引入“专家探测”评估方法等。

关键观点总结

关键观点1: 论文提出混合蒸馏专家（MoDE）方法

在专家之间应用适度的相互蒸馏，使每个专家能够学习其他专家的有效特征，提升模型整体泛化能力。

关键观点2: 设计协作式知识蒸馏损失函数

采用协作学习方法，让每个专家作为对等的学习者相互学习。同时将蒸馏方式从传统的学习输出预测扩展到中间表示，使MoDE层可轻松集成到任意神经网络中。

关键观点3: 引入“专家探测”评估方法进行并行研究

通过该方法发现适度的知识蒸馏能提升单个专家在其分配子任务上的测试性能。同时进行大量实验，包括表格数据、自然语言处理（NLP）和计算机视觉（CV）数据集，证明MoDE的有效性、通用性和鲁棒性。