当前位置：首页 > news >正文

遥感图像处理又上大分！加个多模态，一篇A会到手~

news 2025/6/18 4:26:20

近期多模态可谓是大热门，与之相关的多模态遥感图像处理自然也不例外，而且已经出现了很多顶会成果，比如最新的多模态遥感图像分类方法LDS2AE，实现了高达99.53%分类准确率。

这种方法通过整合多种类型的数据，显著提高了数据分析的精度和可靠性，对比传统的遥感图像处理方法，能给我们提供更全面、准确的信息，无论是在信息提取、分类与识别精度、还是几何变换配准等任务中，效果都遥遥领先。

因此多模态遥感图像处理拥有更广阔的应用空间，对如今遥感技术的改进与创新也非常重要，是个很值得研究的方向。这里为了帮助大家快速找到思路，我整理好了9篇最新的多模态遥感图像处理论文，开源代码也附上了，不想多花时间的同学可以参考。

论文原文+开源代码需要的同学看文末

Multimodal Remote Sensing Image Registration Based on Adaptive Spectrum Congruency

方法：论文提出了一种基于自适应谱一致性的特征检测方法，用于改善多模态遥感图像的配准性能，作者还研究了ASC的能量计算和噪声估计的鲁棒性，通过设计ASC-Sobel特征点检测器和局部直方图特征描述符（LHASC），提升了图像配准的准确性和鲁棒性，显著提高了配准成功率和匹配精度。

创新点：

提出了一种名为自适应谱一致性（ASC）的新特征检测方法，利用数据驱动策略进行能量计算，并采用自适应噪声估计，使其在显著的辐射失真和噪声下更具鲁棒性。
结合ASC与Sobel算子，提出了新的角点检测函数ASC-Sobel，提高了特征点的重复性。
构建了局部ASC直方图（LHASC）特征描述符，利用ASC图的幅度和NDS图像的梯度方向，提升了特征描述符的区分性和鲁棒性。

IFF-Net: Irregular Feature Fusion Network for Multimodal Remote Sensing Image Classification

方法：论文提出了一种名为IFF-Net的多模态遥感数据分类方法，该方法基于不规则特征融合，旨在提高多模态遥感图像的分类性能。实验结果表明该方法在分类准确性方面显著优于现有的最先进方法。

创新点：

提出了一种新的不规则特征融合方法，通过共享权重的残差块进行级联特征提取，并调整并行分支数量，以提高模型的泛化能力，且不增加额外参数。
通过私有化批归一化层的判断因子，替代冗余信息，实现多模态遥感数据的互补，施加稀疏约束以减少无效特征传播。
开发了特征归一化与校准模块，以优化空间信息辨别能力，减少冗余，并通过校准后的自注意模块来增强信息集成。

HGR Correlation Pooling Fusion Framework for Recognition and Classification in Multimodal Remote Sensing Data

方法：论文提出了一种基于热图和HGR相关性池化融合操作的多模态遥感数据识别和分类模型，通过新颖的HGR相关池化算法提升多模态信息的特征学习能力，解决现有方法中识别和分类精度低及多模态特征融合困难的问题，在QXS-SAROPT、Houston2013和MUUFL数据集上的实验验证了该方法的有效性和显著优势。

创新点：

开发了一种结合特征融合方法与HGR相关算法的HGR相关池融合算法。
设计了针对正、零、负样本的定制化整体损失函数，大大增强了多模态图像的特征学习能力。
提出了一种多模态遥感数据识别和分类模型，实现信息分离和最大化利用。

Multimodal Fusion Transformer for Remote Sensing Image Classification

方法：论文提出了一种创新的多模态融合Transformer网络，通过引入多头交叉补丁注意机制来融合多源遥感数据，以提升地物分类性能，填补现有研究在多模态数据高效融合方面的空白，在多个公共数据集上的实验验证了其优越性，显著提高了分类准确度。

创新点：

提出了一种新的多模态融合Transformer网络（MFT），该网络利用多头交叉块注意机制（mCrossPA）来融合高光谱影像（HSI）与其他多模态数据（如LiDAR、MSI、SAR、DSM），增强地表分类性能。
多头交叉块注意机制可以高效融合来自HSI和多模态数据的特征信息，生成新的特征表示，提高分类准确性。