下一代Transformer到底长啥样?

主要观点总结

本文是对Transformer架构未来发展的猜想和讨论，文章聚焦于Transformer架构的演进以及面临的挑战，特别是在数据复用和算力方面的问题。作者THU Markov在知乎上的回答被分享出来，给大家启发。

关键观点总结

关键观点1: Transformer架构的持续演进

文章讨论了Transformer架构的持续发展，从absolute embedding到RoPE，从dense到MoE，从CoT到think模型的不断进步。

关键观点2: 算力的重要性

作者强调数据、算法和算力是发展的关键，并特别指出算力的重要性。并行序列解码是必经之路，而全序列并行可能彻底绕过decoding阶段的存储墙。

关键观点3: 数据复用的挑战

文章深入讨论了Transformer架构在算力方面面临的最大挑战——自回归解码缺乏数据复用。作者解释了数据复用的重要性，以及当前Transformer架构在数据复用方面存在的问题。

关键观点4: 未来发展方向的猜想

文章提到Diffusion LLM是一个值得关注的方向，并定义了作者心中的transformer是基于attention机制的自回归编解码器架构。作者还讨论了带宽扩展的成本问题，以及当前挑战的解决方案。