武大提出 PlaneSAM 使用分割任意模型的多模态平面实例分割 ！

主要观点总结

武汉大学提出一种名为PlaneSAM的新方法，用于利用RGB-D数据的四个波段（RGB光谱波段和深度波段）进行更有效的平面实例分割。它采用双复杂度Backbone结构、自监督预训练策略以及优化损失函数，以克服现有方法的局限性并提升分割性能。PlaneSAM通过利用RGB波段和D波段的信息，实现多模态下的平面实例分割。

关键观点总结

关键观点1: PlaneSAM的设计

PlaneSAM是EfficientSAM的延伸，采用双复杂度网络结构，以多模态方式从RGB-D数据中分割平面实例。它使用简单的CNN分支学习D波段的特征，复杂的Transformer分支学习RGB波段的特征，从而全面利用RGB-D数据的四个波段。

关键观点2: 损失函数优化

PlaneSAM优化了EfficientSAM的损失函数组合比例，使其能够有效地处理大和小面积的平面实例分割，从而提升了分割效果。

关键观点3: 预训练策略

PlaneSAM采用自监督预训练策略，利用SAM-H自动生成的RGB-D数据的不完美分割结果，实现了在大规模RGB-D数据上的低成本预训练。

关键观点4: 实验结果

PlaneSAM在ScanNet、Matterport3D、ICL-NUIM RGB-D和2D-3D-S等数据集上进行了实验，取得了优越的性能，验证了其有效性。

关键观点5: 未来工作

作者提到，提高深度图像噪声的鲁棒性以及改进预测边界框的准确性将是未来研究的重要方向。