(TCSVT 2025) 不用 Transformer，也能做强多模态融合？M³amba 给出答案

主要观点总结

本文介绍了一篇关于多模态遥感分类的论文M³amba: CLIP-driven Mamba Model for Multi-modal Remote Sensing Classification。该论文提出了一个基于CLIP和Mamba模型的统一多模态融合框架M³amba，旨在解决传统CNN/Transformer方法的语义不完整、计算复杂度高和跨模态一致性弱的问题。该模型通过结合CLIP的语义表示能力和Mamba的线性复杂度建模能力，实现了多模态遥感数据的端到端融合。文章详细介绍了模型的创新点，包括CLIP-driven模态特异Adapter和Cross-SS2D线性复杂度的跨模态Mamba融合机制。此外，文章还提供了模型的可视化结果和实验结果分析。

关键观点总结

关键观点1: 论文名称及主题

M³amba: CLIP-driven Mamba Model for Multi-modal Remote Sensing Classification。

关键观点2: 创新点

首次提出CLIP + Mamba的统一多模态融合框架，解决传统方法的语义不完整、计算复杂度高和跨模态一致性弱的问题；提出CLIP-driven模态特异Adapter和Cross-SS2D线性复杂度的跨模态Mamba融合机制。

关键观点3: 模型架构及工作方式

模型通过冻结的CLIP Image Encoder结合模态特异Adapter，为不同模态构建统一且具备模态感知的高层语义特征。随后在Mamba融合阶段，利用三分支结构与提出的Cross-SS2D模块，在状态空间中同时建模跨模态一致性与互补信息，并以线性复杂度完成全局-局部融合。

关键观点4: 实验结果分析

通过多个数据集的消融实验和可视化结果，验证了M³amba模型的有效性。与其他方法相比，M³amba在所有数据集上均表现出色，特别是在水体、草地、工业区等类别的多模态遥感分类任务中，具有显著的优势。

关键观点5: 开源免费即插即用模块地址

浏览打开网址: https://github.com/ai-dawang/PlugNPlay-Modules，扫码免费获取更多最新模块。