大模型面经——MoE混合专家模型总结

主要观点总结

本文介绍了关于MoE（Mixture of Experts，混合专家模型）的相关面试题，包括MoE的介绍、背景、模型、稀疏MoE层、门控网络或路由、噪声引入的原因、专家间负载均衡、专家定义、专家数量对预训练的影响、topK门控、MoE模型特点、与稠密模型的对比、优势、挑战、微调方法和并行计算等方面的内容。

关键观点总结

关键观点1: MoE介绍及组成

MoE是一种机器学习模型，由多个专家（experts）和一个门控网络（gating network）组成，属于集成学习的一种形式。

关键观点2: MoE出现的背景

MoE的出现是为了实现高效的 scaling 技术，用较少的 compute 实现更大的模型规模，获得更好的性能。

关键观点3: MoE模型种类

存在多种MoE模型，如Switch Transformers、Mixtral、GShard等，它们各有特点。

关键观点4: 稀疏MoE层的特点

稀疏MoE层用来替代传统Transformer模型中的前馈网络 (FFN) 层，包含若干“专家”，每个专家是独立的神经网络。

关键观点5: 门控网络的作用

门控网络接收数据并产生权重，表示每个专家对输入的贡献程度，通过权重形成概率分布来决定每个输入应该由哪个专家来处理。

关键观点6: 噪声在门控网络中的作用

引入噪声有助于实现专家间的负载均衡，防止某些专家处理过多或过少的数据。

关键观点7: MoE模型的特点

MoE模型具有灵活性、可扩展性、动态权重分配和容错性等特点。

关键观点8: MoE与稠密模型的对比

在相同计算资源下，MoE模型理论上可以比稠密模型更快达到相同性能水平。在推理阶段，MoE模型具有高显存和高吞吐量，而稠密模型则相反。

关键观点9: MoE的优势和挑战

MoE的优势包括训练优势（预训练速度快）和推理优势（推理速度快）。挑战则包括训练阶段的泛化能力不足和推理阶段对显存要求较高。

关键观点10: 微调MoE的方法

微调MoE的方法包括冻结非专家层的权重只训练专家层，或者冻结moe层参数，只训练其他层的参数。