TPAMI 2025｜低分辨率自注意力LRSA：语义分割的高效新范式

主要观点总结

南开大学与新加坡科技局等机构提出低分辨率自注意力（LRSA）机制及LRFormer模型，通过在低维空间计算全局注意力降低计算开销，并在ADE20K、COCO-Stuff和Cityscapes等数据集上取得领先性能。论文收录期刊为IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)。

关键观点总结

关键观点1: 低分辨率自注意力（LRSA）机制

LRSA机制的核心思想是在一个极低分辨率的空间中高效地计算全局注意力，降低计算成本。LRSA改变了传统的自注意力计算方式，通过对输入特征图进行下采样，在低维空间完成注意力计算，从而实现了高效的计算。

关键观点2: LRFormer模型

LRFormer是基于LRSA机制构建的语义分割模型，采用经典的编码器-解码器架构。编码器由多个阶段组成，每个阶段由多个基础模块堆叠而成。解码器则设计了一个简洁高效的解码器头，用于输出最终的分割图。LRFormer在多个主流语义分割基准数据集上取得了SOTA性能。

关键观点3: 实验与可视化分析

实验结果显示，LRFormer在不同规模的模型上均表现出强大的竞争力，实现了性能和效率的完美平衡。可视化分析表明，LRFormer能够生成更完整、更精确的分割图，尤其是在物体边界和细节区域。此外，消融实验验证了LRFormer设计的合理性。