今天的两个极端

主要观点总结

本文主要围绕xAI推出的Grok3和DeepSeek发布的NSA原生稀疏注意力技术进行讨论，分析了两者在技术特点、应用场景和工程实现上的不同之处和各自的优势。文章还涉及了模型训练的未来趋势、工程规模和效率的探索、开源与闭源模型的对比，以及训练基座和RL双轮驱动的重要性等议题。

关键观点总结

关键观点1: NSA论文的核心思想

有效降低长上下文注意力的计算成本，是对去年5月MLA工作的补充，MLA和NSA在模型压缩方面有所不同。

关键观点2: NSA技术的应用前景

如果DeepSeek后续训练中整合NSA技术，可以预期其基座模型整体能力会有显著提升。

关键观点3: NSA论文的额外亮点

提到了使用NSA预训练的模型超过了全注意力模型，并且论文中提到的一些细节，如Triton的使用和对多种计算卡的适配性。

关键观点4: 工程规模和效率的探索

文章讨论了探索出理论上限后，接下来如何探索工程规模和效率的上限，以及不同训练方法在未来训练模型上的影响。

关键观点5: 开源与闭源模型的对比

讨论了开源模型与北美昂贵成本训练的闭源模型的对比，以及开源模型在持续开源和经济性上的可能性。

免责声明