DeepSeek 今年第一篇论文，到底在讲什么？

主要观点总结

DeepSeek在2026年提出改进的多流残差结构(mHC)，通过双随机矩阵约束解决了字节Hyper-Connections(HC)在27B模型中的信号爆炸问题，训练稳定性提升且工程开销仅增加6.7%，验证了架构优化的可行性。

关键观点总结

关键观点1: 残差连接的发展

从2015年ResNet提出单残差通道，到2024年字节提出的HC四通道结构，多流残差设计不断演进，但HC在大规模模型中遭遇信号爆炸问题。

关键观点2: mHC的核心创新

通过引入双随机矩阵约束(行/列和均为1)，实现信息在四通道间的守恒流动，将信号放大倍数从3000倍稳定控制到1.6倍。

关键观点3: 工程实现突破

采用内核融合、重计算策略等优化技术，将四通道设计的训练开销压缩至6.7%，最终使27B模型loss下降0.021，BBH/DROP任务准确率提升2.1-2.3%。