国内唯一！阿里千问斩获NeurIPS 2025最佳论文奖

主要观点总结

阿里通义千问团队在NeurIPS 2025论文奖中凭借在注意力机制上的研究成果获得最佳论文奖。该团队首次揭示了注意力门控对大模型性能和训练的影响，并将该成果应用于Qwen3-Next模型，显著提升了模型的性能和鲁棒性。此外，研究还解决了大模型长期存在的两大问题，并实现了技术方案的开源。

关键观点总结

关键观点1: 阿里通义千问团队在NeurIPS 2025中获得最佳论文奖

该团队的研究成果在注意力机制上取得了突破，从全球5524篇论文中脱颖而出，获得了唯一的中国团队奖项。

关键观点2: 首次揭示注意力门控对大模型性能和训练的影响

研究通过大规模实践探索了门控在注意力机制上的应用，并首次清晰揭示了其背后的原理。

关键观点3: 研究成果已应用于Qwen3-Next模型，并显著提升性能

实验结果显示，通过对各注意力头的输出进行门控，可以显著提升模型性能，并在引入额外参数和计算开销较小的情况下实现困惑度下降和MMLU基准评测提升。

关键观点4: 解决大模型长期存在的两个问题：注意力池和巨量激活

门控注意力有助于解决大模型中的注意力池和巨量激活问题，这些问题的解决对提高模型的稳定性和性能至关重要。

关键观点5:

该研究的技术方案、实验模型及产品级模型均已开源，这将有助于推动社区对大语言模型中注意力机制的理解，并促进更稳定、高效、可控的大模型的构建。