TCSVT 2025 | L2A：基于注意力学习亲和性的弱监督持续语义分割方法

主要观点总结

本文详细介绍了名为L2A的基于Transformer的端到端框架，用于弱监督持续语义分割（WSCSS）。文章提出了新型Transformer框架L2A，首次将基于端到端Transformer的架构引入WSCSS领域。主要创新点包括引入基于多头自注意力（SA-MHSA）的语义亲和模块来生成可靠注释，提出语义漂移补偿（SDC）策略以在学习新类别时保持模型的稳定性和可塑性，并设计新的评估协议来评估模型性能。文章还介绍了方法的具体细节，包括生成细粒度伪标签、语义漂移补偿策略等。实验部分验证了所提出框架在WSCSS场景和新提出的挑战协议中的优越性。

关键观点总结

关键观点1: 提出新型Transformer框架L2A，用于弱监督持续语义分割（WSCSS）。

文章介绍了一种基于Transformer的新型端到端框架L2A，该框架旨在解决持续语义分割中的一些问题，特别是从图像级标签进行持续学习的问题。这是首次将基于端到端Transformer的架构引入WSCSS领域。

关键观点2: 引入基于多头自注意力（SA-MHSA）的语义亲和模块。

为了从图像级监督生成可靠的注释，文章提出了一个基于多头自注意力（SA-MHSA）的语义亲和模块。该模块通过捕捉相邻图像坐标之间的语义关系，生成精细的伪标签来指导模型学习新类别。

关键观点3: 提出语义漂移补偿（SDC）策略。

为了在学习新类别时保持模型的稳定性和可塑性，文章提出了一种语义漂移补偿（SDC）策略。该策略通过优化伪标签生成过程，有效地改善新老类别之间目标边界的对齐。

关键观点4: 设计新的评估协议来评估模型性能。

文章提出了新的挑战协议，通过更多的学习步骤评估弱监督持续语义分割方法从图像级标签持续学习新类别的可塑性以及对灾难性遗忘的稳定性。