学术研究报告：HatFormer - 面向多模态三维变化检测的高度感知Transformer网络

一、 研究作者与发表情况

本研究的主要作者包括 Biyuan Liu（第一作者，电子科技大学资源与环境学院）、 Zhou Huang（长虹电器股份有限公司）、 Yanxi Li（电子科技大学资源与环境学院）、 Rongrong Gao（香港科技大学）、 Huai-xin Chen（通讯作者，电子科技大学资源与环境学院）以及 Tian-zhu Xiang（通讯作者，Space42, Abu Dhabi）。研究成果以题为“HatFormer: Height-aware transformer for multimodal 3D change detection”的论文形式，发表于国际摄影测量与遥感学会（ISPRS）旗下的权威期刊 ISPRS Journal of Photogrammetry and Remote Sensing 第228卷（2025年），页面为340–355。该论文于2024年11月9日收到，2025年5月22日修订，2025年6月19日被接受，并于2025年7月23日在线发布。

二、 学术背景与研究目标

本研究属于遥感科学与人工智能交叉领域，具体聚焦于多模态三维变化检测。理解地表的三维动态变化对于城市规划、环境监测、灾害响应等应用至关重要。传统的变化检测研究大多局限于二维（2D）层面，只能识别变化区域（二进制变化检测）或变化类型（语义变化检测），这限制了进行全面定量变化分析和三维（3D）理解的能力。

近年来，研究者开始探索同时预测语义和体积变化（如高度变化）的方法，以实现对复杂城市环境的定量评估。然而，这些方法主要依赖于双时相三维数据，如点云或由其衍生的数字表面模型（Digital Surface Model， DSM）。获取高质量、时间上一致的双时相三维数据在实践中面临巨大挑战：成本高昂、周期长（例如荷兰AHN激光雷达数据集两次重访间隔可达十年），且易受传感器平台、视角和环境条件不一致的影响。虽然存在利用多源三维数据（如激光雷达与多视图图像重建点云）的方法，但它们通常需要专业设备，且数据处理（如配准、重建）过程复杂耗时。

为了克服双时相三维数据获取的瓶颈，多模态变化检测 成为一种有前景的替代方案。该方法通过结合不同时间、不同类型的数据源（例如，事件前的DSM和事件后的光学遥感影像）来推断三维变化。然而，这种方法面临两大核心挑战：1. 模态鸿沟：不同模态数据（如图像和DSM）在特征空间上存在显著差异，难以有效对齐和融合；2. 前景-背景不平衡与类内方差：实际场景中发生变化（前景）的区域通常非常稀疏（例如，在HI-BCD数据集中变化像素占比不足1.5%），而大面积的未变化（背景）区域包含多种地物类型（如建筑物、树木、道路）和因季节、光照等引起的伪变化。现有的多模态变化检测方法通常将复杂的背景区域简单地归为一类进行监督，导致背景特征学习不具区分性，产生噪声预测，并模糊了变化与未变化区域之间的边界。

针对上述挑战，本研究提出了一个名为 HatFormer（Height-aware Transformer） 的新型网络架构。其核心研究目标是：开发一个能够有效减少多模态数据间模态鸿沟、缓解前景-背景不平衡问题，并最终实现从多模态双时相数据中同时进行精确语义变化检测和高度变化检测的深度学习模型。

三、 详细研究流程与方法论

本研究遵循了严谨的深度学习模型设计、实现、评估与验证流程，具体步骤如下：

1. 问题定义与动机分析： 研究者首先从理论层面分析了传统多模态变化检测框架的局限性。他们将问题形式化，指出在典型框架中，前景（变化区域）受到针对变化类别和高度的强监督，而背景（未变化区域）仅被简单监督为“无变化”类别和零高度变化。这种对背景区域的“同质化”监督忽略了其内部复杂的地表覆盖差异，导致学习到的背景特征缺乏区分性，容易与前景特征混淆，从而干扰变化检测的准确性。基于此，研究提出引入额外的背景高度感知学习作为解决方案，即要求模型从单目图像特征中预测背景区域的高度信息。这一附加任务能促进背景特征的判别性学习，并显式地关联图像与高度模态，缩小模态鸿沟。

2. 模型架构设计 - HatFormer： HatFormer以精简版的ChangeFormer作为基础编码器，显著减少了参数量和计算量（参数量减少70.7%，GFLOPs减少32%）。其核心创新在于引入了四个关键模块，构成了完整的高度感知多模态变化检测框架： * 背景高度估计模块（Background Height Estimation， BHE）：该模块旨在从事件后图像的单目特征中预测背景区域的高度信息。它采用一种非对称的交叉注意力架构，以DSM特征构建查询（Query），在图像特征空间内进行交叉注意力学习，生成背景高度预测。其监督信号并非来自额外标注，而是通过一种近似策略从输入数据本身获得：即使用事件前DSM（*dsm_pre*）加上真实高度变化图（*y_H*）来近似作为事件后背景高度的监督（*dsm_post ≈ dsm_pre + y_H*）。BHE模块通过迫使图像特征与高度信息对齐，增强了背景特征的判别性，并减少了图像与DSM模态间的差异。 * 前景掩模估计模块（Foreground Mask Estimation， FME）：该模块利用从BHE学习到的判别性背景特征作为指导，从双时相DSM特征中识别前景（变化）区域。其结构设计与BHE对称，并通过拼接BHE特征来最终预测变化掩模。FME模块不仅直接服务于变化检测任务，还作为BHE模块的正则化器，通过交互学习缓解从单目图像估计高度这一病态问题，并作为深层监督显式关联辅助任务（高度估计）与主任务（变化检测）。 * 高度不确定性抑制模块（Height Uncertainty Suppression， HUS）：为了减轻近似背景高度监督中可能存在的噪声（伪变化）对模型学习的干扰，该模块被设计用于抑制高度不确定的区域。它通过计算BHE模块在不同层输出的高度预测方差来生成不确定性图，并据此生成一个抑制掩码（*M_hus*），在计算BHE损失时降低高不确定性区域的权重。 * 辅助特征聚合模块（Auxiliary Feature Aggregation， AFA）：为了有效利用BHE和FME模块学习到的丰富特征，该模块被设计用于对这些特征进行聚合和精炼。它通过渐进式的通道相关性计算、使用膨胀卷积的局部上下文提取以及使用简单通道注意力的全局上下文感知，将来自两个模块的多尺度特征深度融合，为最终的解码器提供更强大的特征表示。

模型的整体损失函数是多个任务损失的加权和，包括语义变化检测的交叉熵损失、高度变化检测的均方误差损失、BHE模块的均方误差损失（应用了HUS掩码）、FME模块的交叉熵损失以及不确定性损失。

3. 实验数据集准备： 研究使用了两个数据集进行评估： * HI-BCD Plus数据集：这是研究者在本工作中构建并发布的一个大规模真实世界多模态变化检测基准数据集。它是在已有HI-BCD数据集基础上的九倍扩展，包含13,500对DSM-图像数据对（分辨率0.5米，尺寸500x500像素），覆盖荷兰多个城市，用于检测建筑物拆除与新建。该数据集是目前可用于3D变化检测的最大规模多模态数据集，支持更稳健的特征学习和指标评估。数据被划分为训练集（68%）、验证集（7%）和测试集（25%）。 * SMARS数据集：这是一个合成多模态数据集，包含两个子集（SMARS-SVenice和SMARS-SParis），提供双时相DSM和图像。研究对其进行了对称组合和裁剪，以构建用于训练和测试的图像-DSM对。

4. 实验设计与对比分析： 研究进行了详尽的实验以验证HatFormer的有效性。 * 对比方法：研究选取了八种先进的（state-of-the-art， SOTA）变化检测方法进行对比，包括FCN-Siamese、SNUNet、ChangeFormer、P2VNet、ICIFNet、DMINet、MTBIT和MMCDNet。其中MMCDNet是先前针对同类多模态任务提出的基准方法。 * 评估指标：对于语义变化检测，采用了对拆除建筑物（IoU_D）、新建建筑物（IoU_N）的交并比、平均交并比（mIoU）和F1分数。对于高度变化检测，则采用了均方根误差（RMSE）、平均绝对误差（MAE）、变化区域内的RMSE（cRMSE）、平均相对误差（cRel）和归一化互相关系数（cZNCC）等指标。同时，还比较了模型的参数量（MParams）和计算复杂度（GFLOPs）。 * 实现细节：所有方法均在LEVIR-CD数据集上进行预训练，然后在目标多模态数据集上训练300个epoch。使用了数据增强技术（如随机翻转、旋转、亮度调整等）和AdamW优化器。

5. 消融研究（Ablation Study）： 为了剖析各个提出的模块（BHE， FME， HUS， AFA）对最终性能的贡献，研究者在两个数据集上系统地进行了消融实验，依次添加模块并观察性能变化。此外，还对损失函数中不同模块的权重超参数（λ1， λ2， λ3）进行了敏感性分析，以验证模型的鲁棒性。

四、 主要研究结果

实验结果表明，HatFormer在多项指标上超越了所有对比的SOTA方法，展现出卓越的性能。

1. 定量结果： * 语义变化检测：在SMARS和HI-BCD Plus数据集上，HatFormer的mIoU和F1分数均排名第一。特别是在更具挑战性的真实数据集HI-BCD Plus上，相较于性能次优的ChangeFormer和ICIFNet，HatFormer在取得更高准确率（+4.2% mIoU， +2.8% F1-score； +5.2% mIoU， +3.6% F1-score）的同时，模型复杂度（GFLOPs）显著更低（分别减少26.9%和52.8%），实现了精度与效率的更好平衡。 * 高度变化检测：在十个高度评估指标中，HatFormer在八个指标上取得最佳成绩，并在剩余两个指标上位列前三。这充分证明了其高度感知机制在解决连续值回归难题上的有效性，能够更精确地捕捉三维高度变化。

2. 定性结果（可视化）： * 可视化对比显示，HatFormer生成的语义变化图和高度变化图与真实情况最为吻合，背景噪声最少，变化区域边界最为清晰。尤其是在复杂的真实场景（HI-BCD Plus）中，其他方法背景预测噪声明显，而HatFormer能保持干净的输出。 * 高度预测的散点图和直方图分析表明，HatFormer的预测值与真实值在整个数值范围内都表现出最佳的对齐度，其数据分布最集中在对角线附近，决定系数（R²）最高，证明了其高度回归的准确性。 * 对HUS模块的可视化展示了其有效性：引入不确定性抑制后，预测的后事件高度图背景更清晰，边界更明确。 * 通过t-SNE对学习到的特征进行降维可视化，可以直观看到，引入高度感知学习后，背景特征（C0）与前景变化特征（C1， C2）在潜在空间中分离得更好，减少了背景对前景的干扰，这与研究的动机相符。

3. 消融研究结果： * 在SMARS数据集上，BHE、FME、AFA模块的依次添加均带来了性能的逐步提升，验证了每个模块的正面贡献。HUS模块的加入对语义指标有提升，但对高度指标影响不大，研究者分析这可能与合成数据背景噪声较少有关。 * 在HI-BCD Plus数据集上，整体趋势类似，但部分指标存在波动。值得注意的是，HUS模块在真实数据集上对高度检测指标带来了改进，说明其对于抑制真实场景中的背景噪声是有效的。 * 超参数敏感性分析表明，模型性能对损失权重参数的变化不敏感，表现出了良好的鲁棒性。最终报告的结果采用了（λ1=1.0， λ2=1.0， λ3=0.1）的配置。

五、 研究结论与价值意义

本研究成功提出并验证了HatFormer，一个用于多模态三维（语义和高度）变化检测的高度感知Transformer网络。该研究的主要结论与价值体现在：

1. 科学方法价值：HatFormer通过创新的背景高度感知学习范式，有效解决了多模态变化检测中的核心难题——模态鸿沟和前景-背景不平衡。BHE模块实现了图像到高度的显式跨模态关联；FME模块作为正则化和深层监督提升了学习效率；HUS模块增强了模型对噪声的鲁棒性；AFA模块实现了特征的有效融合。这一套组合方法为多模态遥感信息处理提供了新的技术思路。
2. 性能突破：通过在公开数据集和自建的大规模数据集上进行充分实验，证明了HatFormer在语义和高度变化检测任务上均达到了最先进的性能，且在保持高精度的同时具有相对较低的模型复杂度。
3. 资源贡献：研究构建并公开了目前最大的真实世界多模态3D变化检测数据集HI-BCD Plus，以及完整的代码，这为后续相关领域的研究提供了重要的基准和基础，促进了该方向的开放科学发展。
4. 应用潜力：该技术能够仅利用事件前DSM和事件后单目图像（这种数据组合在实际中更易获取）来实现精确的三维定量变化分析，为城市动态监控、违章建筑检测、灾害评估、地形变化监测等实际应用提供了更可行、更高效的解决方案。

六、 研究亮点

1. 核心创新点：提出了“背景高度感知”这一新颖的学习机制，并将其具体化为BHE、FME、HUS、AFA四个可嵌入的模块，系统性地提升了多模态特征学习与对齐的能力。
2. 问题视角新颖：从独立监督背景与前景区域的理论视角出发，深刻剖析了传统方法的不足，并提出了有针对性的解决方案。
3. 方法自洽性强：模型各模块之间设计精巧，存在相互促进的正则化与监督关系（如FME对BHE的正则化），形成了一个有机整体。
4. 工作扎实全面：不仅提出了新模型，还扩展了数据集，进行了详尽的定量、定性对比和消融实验，结论可靠，贡献完整。

七、 其他有价值内容

论文在引言和“相关工作”部分对多维变化检测（包括单模态点云/DSM方法和多模态方法）以及变化检测中的多任务学习进行了系统性的梳理和评述，为读者提供了清晰的领域背景和技术发展脉络。附录部分详细列出了模型编码器、解码器的参数配置以及训练中的所有超参数设置，体现了研究的可复现性，对后续研究者具有重要参考价值。