ICLR 2025 | 极性感知线性注意力！哈工深张正团队提出PolaFormer视觉基础模型

主要观点总结

本文介绍了PolaFormer: Polarity-aware Linear Attention for Vision Transformers，一个解决计算机视觉任务中自注意力机制时空复杂度高的新方法。研究团队提出一个新的极性感知线性注意力模块，能提高模型的任务性能和计算效率。该模块解决了现有线性注意力机制的两个主要问题：负值丢失和注意力分布的高信息熵。文章详细介绍了方法的背景、动机、原理、实验和结论。

关键观点总结

关键观点1: 背景介绍

文章介绍了计算机视觉领域中，自注意力机制在视觉任务上的优异性能以及面临的O(N^2)复杂度挑战。

关键观点2: 研究动机

为了解决自注意力机制的效率问题，研究者提出了线性注意力机制，但其在表达能力方面仍有不足。本文旨在解决这一不足。

关键观点3: 核心方法

文章提出了一种新的极性感知线性注意力机制（PolaFormer），通过考虑正负相似性对注意力权重的影响，来解决现有线性注意力机制的局限性。

关键观点4: 技术细节

PolaFormer通过分解query和key向量，分别考虑正相似度和负相似度对注意力权重的影响。同时，通过可学习的幂函数重新缩放q,k响应以降低熵，增加模型的区分能力。

关键观点5: 实验结果

PolaFormer在图像分类、目标检测、实例分割和语义分割等任务上进行了评估，并与之前的模型进行了比较，取得了显著的性能提升。