校企携手：我国大语言模型高效建模研究取得突破性进展

主要观点总结

张铭教授团队与DeepSeek梁文锋团队合作，在长上下文大语言模型高效建模领域取得突破性进展，提出原生可训练稀疏注意力（Native Sparse Attention，NSA）机制，并被评为ACL2025最佳论文。NSA机制的核心创新包括硬件对齐的算法与实现和原生可训练性，显著提升了运行速度并降低了预训练计算开销。该研究成果已被多家大模型企业实现或复现，并被谷歌学术广泛引用。

关键观点总结

关键观点1: 研究团队取得的突破性进展

张铭教授团队与DeepSeek梁文锋团队合作，提出了原生可训练稀疏注意力（NSA）机制，该机制在长上下文大语言模型高效建模领域取得了重要突破，并被评为ACL2025最佳论文。

关键观点2: NSA机制的核心创新

NSA的核心创新包括硬件对齐的算法与实现和原生可训练性，前者通过算术强度均衡设计和专用算子显著提升运行速度，后者实现端到端训练模式，解决了稀疏注意力训练难题。

关键观点3: NSA的应用及效果

基于NSA预训练的模型在通用基准、长上下文及指令推理任务上表现优秀，并在64k序列长度下实现显著加速。与Flash Attention对比，NSA在前向传播速度提升可达9倍，反向传播实现6倍加速。

关键观点4: 研究团队及论文的影响

该论文自公开以来已被谷歌学术引用近百次，研究成果已被DeepSeek、华为、字节跳动等多家领先的大模型企业实现或复现。北大张铭教授是我国数据及计算科学领域的知名学者，而DeepSeek梁文锋则在信息电子工程领域有杰出贡献。