TCSVT 2025 | 用于半监督双模态显著目标检测的显式解耦与专属融合

主要观点总结

本文是对论文《Explicitly Disentangling and Exclusively Fusing for Semi-Supervised Bi-Modal Salient Object Detection》的解读和分享。该论文针对半监督双模态显著目标检测的显式解耦与专属融合进行了深入研究，并提出了创新的方法和策略。

关键观点总结

关键观点1: 论文的主要内容和创新点

论文提出了一种新颖的半监督双模态显著目标检测框架，通过结合显式解耦与专属融合（EDEF）方案与半监督学习策略，有效平衡了标注负担和检测性能。设计了两种显式解耦方案，即边缘细化与主体解耦（ERBD）和主体聚合与边缘解耦（BAED），以及两种专属融合方案，即边缘完整性融合（EIF）和主体一致性融合（BCF）。优化半监督架构，通过一致性训练学习范式和随机掩蔽、伪标签细化策略，减轻了标注负担，并从大量无标签样本中受益。

关键观点2: 架构概述

论文引入半监督学习范式来减轻大规模像素级人工标注的需求，并基于一致性训练构建了一个半监督双模态SOD框架。使用金字塔视觉Transformer（PVT）作为特征提取器，分别为RGB和D提取多级特征。显性解耦和专属融合方案确保了最终的检测性能，包括完整的物体边缘和一致的内部表征。

关键观点3: 显式解耦方案

作者假设对于提取的显著特征可以解耦为两个分量，分别对应边缘和主体。为此，采用了两种针对高层和低层特征注意力差异的解耦机制。边缘细化与主体解耦和主体聚合与边缘解耦两种方案被用来显式地解耦显著物体的边缘和主体。

关键观点4: 专属融合方案

由于边缘信息和主体信息在特征注意力上存在显著差异，不加区分的融合方法会导致最终预测目标中边缘信息不完整或主体信息不一致。因此，作者为解耦后的边缘和主体特征设计了专属融合方案。包括边缘完整性融合和主体一致性融合。

免责声明