该文献为一项关于“跨模态图像匹配网络”的研究，研究成果发表于《IEEE Transactions on Geoscience and Remote Sensing》期刊的2022年，第60卷，文章编号为5606414。主要作者包括Song Cui（IEEE学生会员）、Ailong Ma（IEEE会员）、Yuting Wan、Yanfei Zhong（IEEE高级会员）、Bin Luo及Miaozhong Xu等，他们来自武汉大学信息工程国家实验室（State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing）。

研究背景

本研究涉及的领域为遥感图像处理，特别是热红外（TIR）图像和可见光（VIS）图像的匹配技术。热红外遥感图像能够通过长波红外光在夜间清晰地成像，而可见光图像则提供符合人类视觉系统的高分辨率纹理细节。结合这两种图像的应用有助于提高地球观测的能力。然而，由于这两种图像的辐射机制差异，它们的图像匹配一直是遥感领域的一大难题。传统的图像匹配方法难以处理热红外图像和可见光图像之间的辐射差异和几何变形。

在现有的跨模态图像匹配方法中，大多忽视了模态特定信息和模态共享信息的全面考虑，导致现有方法难以得到模态不变的特征表示。为了克服这一问题，本文提出了一种新的跨模态图像匹配网络——CMM-Net（Cross-Modality Image Matching Network），通过学习模态不变的特征表示来实现热红外和可见光图像的匹配。该研究的目标是解决传统方法在跨模态图像匹配中的不足，并为热红外和可见光图像的联合解释提供新的思路。

研究方法与工作流程

本文的研究方法涉及两个主要网络结构：浅层的模态特定特征提取网络和深层的模态共享特征提取网络。在网络的浅层，采用伪西梅斯网络（Pseudo-Siamese Network）提取热红外图像和可见光图像的模态特定特征；而在网络的深层，则通过引入共享参数的模态共享层来提取模态不变的特征。通过这种方式，CMM-Net既能充分利用模态特定信息，又能在深层挖掘不同模态之间的共同语义信息。

研究步骤

1. 网络架构设计：研究首先设计了一个基于卷积神经网络（CNN）的跨模态图像匹配网络。在浅层，通过伪西梅斯网络提取热红外和可见光图像的模态特定特征，而在深层通过共享参数的网络层来学习模态不变特征。具体来说，在热红外和可见光图像的特征提取中，浅层网络针对每个模态独立提取特征，而深层网络则共享信息以提取共同特征。

2. 损失函数设计：为了优化模态不变特征的学习，本文设计了三种新的损失函数：

   • 模态特定判别（MSD）损失：该损失函数旨在增加同一模态内不同特征之间的类间距离，以帮助网络区分不同类别的特征。
   • 跨模态约束（CMC）损失：该损失函数通过最小化不同模态之间的对应特征距离，进一步缩小跨模态特征之间的差距。
   • 跨模态三元组（CMT）损失：该损失函数用于识别跨模态图像中的对应特征，通过三元组损失来最大化对应特征的相似度。

3. 实验设计与数据集：研究使用了来自地面和机载平台的热红外和可见光图像数据集进行实验。具体数据集包括了地面热红外图像和可见光图像的CVC数据集，以及来自无人机（UAV）的机载图像数据集。实验结果表明，CMM-Net在匹配精度上超越了现有的几种基准方法。

实验步骤与创新方法

在数据预处理和特征提取过程中，采用了基于卷积神经网络（CNN）架构的两分支网络来提取图像的特征。为了提高匹配精度，研究提出的CMM-Net方法在特征提取时不仅考虑了模态特定的信息，还通过共享层学习了模态不变的特征。此外，设计的三种损失函数（MSD损失、CMC损失和CMT损失）确保了在优化过程中，模态特定特征和模态不变特征之间的距离关系能够达到最佳。

在进行实验时，CMM-Net的性能被与传统的手工描述符方法（如SIFT和PSO-SIFT）以及现有的深度学习方法（如SFCNet和D2-Net）进行比较。实验结果表明，CMM-Net在地面和机载图像匹配任务中均表现出色，尤其在面对大模态差异时，CMM-Net的表现尤为突出。

研究结果

1. 定性实验结果：通过对CVC数据集的实验，CMM-Net在热红外和可见光图像匹配中取得了良好的匹配精度，成功地匹配了大量分布均匀的对应点。在传统的手工描述符（如SIFT和PSO-SIFT）方法中，由于热红外图像和可见光图像之间存在较大的辐射差异，这些方法无法有效提取和匹配相应的特征，导致匹配精度较低。

2. 定量实验结果：在定量评估方面，CMM-Net的表现超过了现有的方法，尤其是在匹配准确率和根均方误差（RMSE）方面，均表现出显著的优势。CMM-Net在多个数据集上的实验结果表明，深度卷积神经网络能够有效提取图像的深层次语义信息，并且在热红外和可见光图像匹配任务中展现出了强大的跨模态匹配能力。

3. 算法性能分析：通过实验数据分析，CMM-Net比其他方法如D2-Net和SFCNet具有更好的精度和鲁棒性，尤其在处理复杂的图像变换和几何畸变时，CMM-Net能够更好地处理热红外和可见光图像之间的模态差异。

结论与意义

本研究提出的CMM-Net方法，通过结合模态特定的浅层网络和模态共享的深层网络，能够有效学习模态不变特征，克服了现有跨模态图像匹配方法中的不足。通过设计的三种创新性损失函数，CMM-Net不仅能够提升热红外和可见光图像之间的匹配精度，还能够有效地减小模态差异，提供更加准确的图像匹配结果。

CMM-Net的成功应用对遥感图像处理领域，尤其是跨模态图像匹配和多模态数据融合，具有重要的科学价值和应用价值。该研究的成果为地球观测、灾害监测、城市规划等领域的遥感图像分析提供了新的技术手段，也为今后的跨模态图像匹配研究提供了有力的支持。

研究亮点

1. 提出了基于深度学习的跨模态图像匹配网络CMM-Net，能够有效解决热红外图像和可见光图像之间的模态差异问题。
2. 设计了三种创新性的损失函数（MSD损失、CMC损失和CMT损失），显著提升了跨模态图像匹配的精度和鲁棒性。
3. 通过与现有的图像匹配方法对比，验证了CMM-Net在复杂图像匹配任务中的优越性。

CMM-Net的提出不仅为遥感图像的匹配任务提供了新的方法，还为相关领域的研究提供了重要的参考价值。