拆分Transformer注意力，韩国团队让大模型解码提速20倍

主要观点总结

来自韩国科学技术研究院、LG和DeepMind的研究人员提出了一种新的Transformer架构，名为Block Transformer，旨在解决原始Transformer推理速度慢、内存开销大的问题。通过对注意力机制进行切块调整，Block Transformer将原始Transformer的全局注意力分解为块级注意力和块内注意力，分别由Block Decoder和Token Decoder处理。这种方法在不影响模型质量的前提下，显著提高了推理速度，降低了内存开销。论文地址：https://arxiv.org/abs/2406.02657。

关键观点总结

关键观点1: 研究背景

原始Transformer每生成一个Token就要访问一次全局KV缓存，导致推理速度慢、内存开销大。

关键观点2: 新方法介绍

Block Transformer通过对注意力机制进行切块调整，将原始Transformer的全局注意力分解为块级注意力和块内注意力，分别由Block Decoder和Token Decoder处理，提高了推理速度。

关键观点3: 核心思路

Block Transformer的核心思路是将原始Transformer的全局注意力分解，通过切块的方式降低计算复杂度和内存占用，提高推理吞吐量。

关键观点4: 性能提升

Block Transformer的推理吞吐量最高提升20倍，同时保持较高的准确率。此外，它还降低了模型的训练成本和内存开销。