ECCV 2024 | 基于部分注意力的高效视觉Transformer

主要观点总结

该论文提出了一种名为“部分注意力”的新机制，通过减少注意力图中的冗余信息，使模型能够更高效地学习空间交互。基于这种机制，作者提出了一个高效且通用的视觉Transformer模型PartialFormer。该模型在保持准确性的同时，显著降低了计算成本。论文还介绍了混合多头自注意力（MMSA）与单查询注意力（SQA）的设计，以及高效的信息交换机制。

关键观点总结

关键观点1: 新颖的部分注意力机制

作者提出了一种名为“部分注意力”的新机制，通过减少注意力图中的冗余信息，使得模型能够更高效地学习空间交互。这种机制允许每个查询只与一小部分相关令牌进行交互，从而降低了计算复杂度。

关键观点2: 高效的视觉Transformer模型PartialFormer

作者基于部分注意力机制，提出了一个高效且通用的视觉Transformer模型PartialFormer。该模型在保持准确性的同时，显著降低了计算成本，实现了准确性和计算成本之间的良好权衡。

关键观点3: 混合多头自注意力（MMSA）与单查询注意力（SQA）的设计

为了进一步提升效率，作者设计了混合多头自注意力（MMSA）来处理前景令牌，以及单查询注意力（SQA）来处理背景令牌。这两种设计有助于模型更高效地学习空间交互。

关键观点4: 高效的信息交换机制

作者引入了一种高效的信息交换机制，通过在前景和背景集之间添加一个可学习的抽象令牌作为查询，实现了两组之间的信息交换。

关键观点5: 实验和结果

论文中进行了实验和结果分析，验证了所提出模型的有效性和优越性。PartialFormer模型在多个视觉任务中取得了良好的性能。