CVPR 2025 | Mask-Adapter：掩码在开放词汇分割中的关键作用

主要观点总结

本文介绍了论文“Mask-Adapter: The Devil is in the Masks for Open-Vocabulary Segmentation”的主要内容和创新点，论文作者是Yongkang Li等人。该论文提出了一种解决开放词汇分割中的挑战的新方法——Mask-Adapter模块，可以无缝集成到基于掩码池化的开放词汇分割方法中，提供更准确的分类结果。

关键观点总结

关键观点1: 论文提出的Mask-Adapter模块能够从提议掩码中提取语义激活图，获取掩码嵌入时综合考虑语义和上下文信息，解决了预训练的CLIP与分割掩码之间的对齐问题。

Mask-Adapter提高了分类结果的准确性。

关键观点2: 论文引入了掩码一致性损失和IoU-基于的匹配器，增强了模型对不同预测掩码的鲁棒性，提高了模型的性能。

通过引入掩码一致性损失，具有相似IoU的提议掩码获得相似的CLIP嵌入。IoU-基于的匹配器替代匈牙利匹配器，计算真值掩码和预测掩码的IoU，选择掩码对，纳入误分类样本，减少过拟合。

关键观点3: 论文采用了两阶段训练策略，包括真值掩码热身训练和混合掩码训练，增强了Mask-Adapter的鲁棒性，提升了其在开放词汇分割任务上的性能。

先使用真值掩码训练避免低质量预测掩码，使模型具备强泛化能力；再混合预测掩码和真值掩码训练，增强Mask-Adapter的鲁棒性。