多源域泛化双分支网络在高光谱图像跨域分类中的应用研究

作者及机构
本文由哈尔滨工业大学电子与信息工程学院的Yunxiao Qi（研究生会员，IEEE）、Junping Zhang（高级会员，IEEE）、Dongyang Liu（学生会员，IEEE）和Ye Zhang（会员，IEEE）共同完成，发表于2024年的《IEEE Geoscience and Remote Sensing Letters》（卷21，文章编号5502205）。

学术背景

高光谱图像（Hyperspectral Image, HSI）凭借其高光谱分辨率和“图像-光谱”融合特性，在精准植被区分、矿产资源勘探、城市系统管理和军事伪装识别等领域具有广泛应用。然而，HSI标注成本高、难度大，目标域（Target Domain, TD）的标签往往稀缺甚至不可用，导致传统单域分类方法在实际应用中受限。

为解决这一问题，跨域分类（Cross-Domain Classification）成为遥感领域的新研究方向。现有方法主要基于域适应（Domain Adaptation, DA），但其需利用目标域数据分布进行对齐，仍依赖目标域信息。相比之下，域泛化（Domain Generalization, DG）方法仅需利用多个源域（Source Domain, SD）数据训练模型，无需接触目标域即可实现泛化。然而，现有DG方法在HSI分类中研究较少，且单源域训练的泛化能力有限。为此，本文提出多源域泛化双分支网络（Multisource Domain Generalization Two-branch Network, MDGTNet），旨在通过多源域数据学习鲁棒模型，实现跨传感器HSI分类。

研究方法与流程

1. 网络架构设计

MDGTNet由三部分组成：
- 域内独特性提取分支（Intra-Domain Uniqueness Extraction Branch, Intra DUEB）：通过属性提取模块（Attribute Extraction Module, AEM）和四个卷积块（Conv-Blocks）挖掘每个源域的内部属性（如成像环境特征）。AEM将HSI按光谱范围分段（如0.38–0.76 µm和0.76–1 µm），并通过可学习权重保持光谱一致性。
- 域间共性提取分支（Inter-Domain Commonality Extraction Branch, Inter DCEB）：通过集成特征提取模块（Integrated Feature Extraction Module, IFEM）提取多源域的通用特征。IFEM采用多级特征融合策略，将Intra DUEB的特征与域间共性特征相减，以消除成像环境影响。
- 分类器：由线性层和ReLU激活函数组成，输出分类结果。

2. 损失函数设计

• 分类损失（BCELoss）：采用二元交叉熵损失，适应目标域可能存在的未知类别。
  
• 相似性度量损失（Cosine Loss）：约束正负样本对的特征相似性。
  
• 相似性差异渐进约束（SDP Loss）：确保特征层级间相似性随深度递增（正样本）或递减（负样本）。
  

3. 实验设置

• 数据集：使用四个公开HSI数据集（Houston 2013、Houston 2018、Pavia University和Pavia Center），选择四类共有地物（健康草地、裸土、树木、道路）进行实验。
  
• 训练策略：分两组实验（Houston为源域/Pavia为目标域，反之亦然），通过动态学习率调整和SDG优化器训练模型。
  

主要结果

1. 跨域分类性能：在Pavia Center数据集上，MDGTNet的总体精度（OA）和Kappa系数分别比最优对比方法（LDGNet）高2.47%和2.92%。
   
2. 消融实验验证：
   
   • 多源域训练：双源域训练的OA比单源域高3.5%以上。
     
   • 分支有效性：移除Intra DUEB或SDP Loss均导致性能显著下降（OA降低4.8%~6.2%）。
     
3. 可视化对比：MDGTNet在Pavia University目标域上的分类结果显著优于SSFTT、CLDA等方法，误分类现象最少。
   

结论与价值

本文提出的MDGTNet通过双分支结构分离域内属性和域间共性，结合SDP约束提升模型泛化能力，实现了跨传感器HSI的高精度分类。其科学价值在于：
1. 为HSI跨域分类提供了首个多源域泛化框架；
2. 设计的AEM和IFEM模块可适配不同光谱范围和传感器差异；
3. 提出的SDP Loss为特征层级约束提供了新思路。

研究亮点

1. 方法创新：首次将多源域泛化引入HSI分类，解决了DA方法依赖目标域数据的问题。
   
2. 技术突破：通过双分支特征融合和光谱分段加权，有效缓解了“同物异谱”现象。
   
3. 应用潜力：模型在未知传感器数据上表现稳定，适用于实际场景中数据分布差异大的分类任务。
   

未来方向

当前方法依赖大规模均衡样本，未来需进一步解决小样本和类别不平衡问题。此外，如何扩展至更多源域和动态环境仍是挑战。

（注：全文约1500字，涵盖研究背景、方法、结果、结论及亮点，符合学术报告格式要求。）