（ICML2025 ）HetSSNet: 全新全色和多光谱遥感图像融合网络，涨点起飞

主要观点总结

HetSSNet论文介绍了一种基于空间-光谱异构图学习网络（HetSSNet）的遥感图像融合方法。该方法针对传统CNN或Transformer方法不适应遥感图像中地物不规则形状的问题，首次提出了空间-光谱异构图（HetSS-Graph）结构，并设计了基础关系模式生成模块和关系模式聚合模块。该方法在多个遥感数据集上取得了SOTA性能，并实现了对高分辨率多光谱图像的高质量重建。

关键观点总结

关键观点1: 首次提出空间-光谱异构图（HetSS-Graph）结构用于遥感图像融合。

该结构显式建模了PAN图像的空间关系、LR-MS图像的谱内关系以及两者之间的谱间关系，将遥感图像建模从欧氏空间迁移到非欧氏图空间，更适合表达复杂的跨模态空间-光谱关系。

关键观点2: 设计了基础关系模式生成模块。

该模块将异构图中的三类边组合，自动生成最多7种基本关系模式，通过逻辑运算构造每种基本关系的邻接矩阵，实现对不同模式的精细区分与建模。

关键观点3: 提出了局部-全局关系聚合模块。

该模块通过加权整合不同基本关系图结构，借助GCN提取局部节点间的重要交互，并基于节点之间在多关系图上的相似性构造全局模式相似矩阵，再进行GCN建模全局关联。最终使用对比学习方法对局部和全局表示进行一致性约束，提高泛化能力。

关键观点4: 在多个遥感数据集上取得SOTA性能。

该方法在WorldView-3、QuickBird、GaoFen-2三个数据集上全面超越了现有CNN、Transformer及GNN方法，不仅在降采样场景中效果突出，还在真实分辨率场景中表现出色，具有良好的实际应用价值与泛化性。

免责声明