Kimi-K2 炼成记：几个月束手无策，一个灵光乍现的 QK-Clip

主要观点总结

本文介绍了Kimi K2模型的开源发布，包括其架构的优化和模型训练过程中的关键问题解决。文章详细描述了模型在架构上的继承和优化，以及如何解决超大规模训练中的MaxLogit爆炸问题。

关键观点总结

关键观点1: Kimi K2模型的开源发布

Kimi K2模型今日正式开源，是基于DeepSeek-V3的成熟设计进行优化和延续的。团队设计的「MuonClip」技术解决了超大规模训练中MaxLogit爆炸问题，使得模型成功训练。

关键观点2: 模型架构的优化

在架构上，Kimi K2大体上复用了DeepSeek-V3的架构，个别地方进行了改动。包括放弃了double heads，降低了Infra的压力，MoE部分的num_experts从256升到了384，以达到特定的数字目标。

关键观点3: 解决MaxLogit爆炸问题

在超大规模训练中，团队遇到了MaxLogit爆炸的问题。通过提出QK-Clip方法，结合Muon与QK-Clip的组合技术MuonClip，成功解决了这一问题。此方法的出现对团队产生了很大的冲击，并提供了在面对类似难题时的思考方向。

关键观点4: 模型的优化

在优化方面，团队面临着将Muon扩展到更大规模模型的挑战。通过验证Muon在大规模上的实践，确认了Weight Decay的必要性和Match Adam Update RMS的有效性。此外，团队还分享了其他在模型优化方面的探索和思考。

免责声明