Which Attention is All You Need？

主要观点总结

文章介绍了机器之心PRO的会员通讯中关于AI和Robotics的三大重要内容，其中包括算法创新压力下的Attention机制、具身智能的技术难关以及OpenAI的算力投资等。文章详细阐述了Attention机制的各种改良方案，包括Linear Attention和Sparse Attention的主流路径及其子分类，以及不同方案的优势和挑战。同时，文章还介绍了其他值得关注的Attention改良方案，如Kimi Linear和DeepSeek NSA等。

关键观点总结

关键观点1: 算法创新压力下的Attention机制

文章讨论了算法创新压力在AI领域的重要性，特别是在Attention机制方面的探索。由于LLM架构的数据和算力瓶颈，业界开始关注Attention机制的创新。目前，业界对Attention的研究探索主要归纳为线性（Linear Attention）和稀疏（Sparse Attention）两条主流路径，以及混合（Hybrid）扩展。这些路径下涌现了大量值得关注的方案，如Linear Transformer、Performer、cosFormer等。

关键观点2: 具身智能的技术难关

文章介绍了具身智能的技术难关，包括端到端学习只能模仿动作、人形机器人如何获得理解身体的能力等问题。文章指出人形机器人面临的挑战包括如何实现通用人形的功能分化，以及解决仿真和现实场景之间的差异等问题。

关键观点3: OpenAI的算力投资及相关讨论

文章讨论了OpenAI在算力方面的投资，包括其1.4万亿算力的投入及相关争议。文章提到“非营利”混合架构如何解决使命对齐和资本需求的根本矛盾，以及非对称独家性的战略优势。此外，文章还探讨了算力不足的核心瓶颈、杰文斯悖论在OpenAI投资中的应用以及上下文工程如何重构SaaS业务逻辑等问题。