分享自:

MFFNet:一种融合光谱与几何信息的建筑物变化检测方法

期刊:Geocarto InternationalDOI:10.1080/10106049.2024.2322053

MFFNet:一种融合光谱与几何信息的建筑物变化检测方法研究报告

一、研究作者与发表信息

本研究由郭志豪(Zhihao Guo)、潘建平(Jianping Pan)、谢鹏(Peng Xie)、朱玲(Ling Zhu)、齐晨(Chen Qi)、王训训(Xunxun Wang)、杨艺涵(Yihan Yang)、王妍(Yan Wang)、张慧娟(Huijuan Zhang)及任兆辉(Zhaohui Ren)共同完成。主要研究机构为重庆交通大学智慧城市学院(School of Smart City, Chongqing Jiaotong University)、自然资源部国土空间规划实施监测评估预警重点实验室(Key Laboratory of Monitoring, Evaluation and Early Warning of Territorial Spatial Planning Implementation, Ministry of Natural Resources)以及宁夏回族自治区地质局(Geological Bureau of Ningxia Hui Autonomous Region)。该研究成果于2024年3月14日在线发表于 Geocarto International 期刊第39卷第1期,论文编号2322053,DOI为10.1080⁄10106049.2024.2322053。

二、研究背景与目标

建筑物变化检测(Building Change Detection, BCD)在城市规划、违章建筑监测、灾害评估及实景三维场景更新等领域具有重要应用价值。传统的建筑物变化检测主要依赖二维遥感影像(Remote Sensing Images, RSIs)的光谱信息,然而仅使用光谱信息面临两大核心问题:其一,与建筑物具有相似光谱和形态特征的地物(如道路、广场等)容易被误判为建筑物,导致虚警(false detections);其二,影像中建筑物周围的阴影和植被会造成建筑物边缘提取不完整(incomplete patch edges),产生漏检(omissions)。另一方面,仅依赖数字表面模型(Digital Surface Model, DSM)等几何信息的检测方法虽然能提供高程变化,但对配准误差和DSM精度敏感,且单一几何信息难以获得理想结果。因此,如何有效融合光谱信息与几何信息成为提升建筑物变化检测精度的关键挑战。

针对上述问题,本研究提出了一种面向双模态数据(dual-modal data)的多尺度特征融合网络MFFNet(Multiscale Feature Fusion Network),旨在通过有效结合高分辨率遥感影像(High-Resolution Remote Sensing Imagery, HRRSI)的光谱特征与DSM的高程特征,减少虚警和漏检,同时改善建筑物边缘的完整性。

三、研究方法与技术流程

MFFNet的整体架构由编码器(Encoder)、多双模态特征融合模块(Multi-Dual-modal Feature Fusion Module, MDFM)和解码器(Decoder)三部分组成。编码器采用双路径特征提取网络(Dual-Path Feature Extraction Network, DPEN),解码器则引入多尺度特征混洗模块(Multiscale Feature Shuffle Module, MFSM)。

3.1 双路径特征提取网络(DPEN)

由于HRRSI包含丰富的建筑物形状、边缘和纹理细节,而DSM数据结构相对简单,仅以单波段形式表达地表高程信息,因此DPEN采用两条结构不同的支路分别进行特征提取。对于HRRSI支路,选用ResNet-34作为特征提取器,通过四个残差块层(r1, r2, r3, r4)挖掘光谱、几何和纹理等多层次特征;对于DSM支路,为防止过拟合,采用结构更简洁的全卷积网络(Fully Convolutional Network, FCN),通过四个标准卷积层(c1, c2, c3, c4)提取高程特征。两条支路各生成四个尺度的特征图,尺寸分别为64×64×64、128×32×32、256×16×16和512×8×8。

3.2 多双模态特征融合模块(MDFM)

在传统方法(如MAHNet)中,图像特征与高程特征通常通过通道堆叠(channel stacking)方式进行简单合并,但并非所有特征都有助于变化判别,冗余信息反而会增加模型训练难度。为此,MDFM受卷积注意力模块(Convolutional Block Attention Module, CBAM)启发,设计了多重双模态特征融合模块(Dual-modal Feature Fusion Module, DFM),并将其嵌入两个分支编码器每一层的跳跃连接(skip junctions)中,以更好地控制语义鸿沟(semantic gap)并减少信息冗余。

DFM由融合层(Fusion Layer)、通道注意力模块(Channel Attention Module, CAM)和空间注意力模块-M(Spatial Attention Module-M, SAM-M)组成。融合层首先将图像特征与高程特征进行拼接(concatenation),随后依次经过3×3卷积、ReLU激活、批归一化(BatchNorm)和Dropout层,最终输出融合特征。通道注意力模块利用平均池化和最大池化操作,通过共享权重的多层感知机(MLP)生成通道注意力权重。SAM-M则借鉴CBAM中的空间注意力设计,对拼接后的平均池化特征和最大池化特征连续施加三次3×3卷积与Sigmoid激活,以增强对两种不同类型特征的空间组合能力。注意力可视化结果表明,DFM的每一层都使模型关注到不同的区域,从而更有效地捕捉高程随时间变化的区域,减少虚警。

3.3 多尺度特征混洗模块(MFSM)

现有上采样方法往往未能充分考虑像素间的关系,容易造成重要信息丢失。MFSM引入像素混洗(pixel-shuffle)技术,首先利用像素混洗算法在多尺度特征间建立相邻像素的关联,然后通过不同尺寸的转置卷积(transposed convolution)将各尺度特征恢复至原始尺寸,最后对多尺度特征进行融合与混洗,以捕捉全局上下文关系(global contextual relationships)。具体而言,四个尺度的特征图分别经过p(16)、p(8)、p(4)、p(2)的像素混洗操作,再通过t(4)、t(8)、t(16)、t(32)的转置卷积上采样,最后经1×1卷积融合得到最终输出。这一设计使得模型能够更好地理解全局像素间的联系,从而缓解建筑物被阴影遮挡导致的边缘不完整问题。

3.4 实验数据与设置

研究在两个数据集上进行了验证。第一个数据集GF7-CD为作者自建数据集,覆盖浙江省金华市47.76平方公里区域,包含多类型地物和复杂地表。光学影像空间分辨率为0.65米,DSM原始空间分辨率为1米,经重采样至0.65米后与光学影像配准,并将高程值归一化至0–255。训练集包含5040组数据,验证集990组,测试集114组。第二个数据集3DCD为公开数据集,由Marsocci等人于2023年提出,包含472对光学正射影像和472对由LiDAR点云栅格化生成的DSM,覆盖西班牙巴利亚多利德市城市中心及周边商业区。

实验环境为Windows 10操作系统,Intel i7-9850 CPU,NVIDIA Quadro RTX5000显卡(11GB显存),深度学习框架为PyTorch 1.7.1,Python 3.6.13。优化器采用Adam,损失函数为二值交叉熵(Binary Cross-Entropy),初始学习率设为1×10⁻⁵,批大小(batch size)为2,当验证集F1分数连续20个周期稳定时停止训练。输入图像统一调整为256×256像素。

3.5 对比方法与消融实验

为验证MFFNet的有效性,研究选取了六种当前流行的变化检测网络进行对比:MAPSNet、STANet、FC_EFNet、IFNet、SNUNet和BIT。此外,研究还设计了双路径特征提取网络对比实验和模块消融实验。特征提取网络对比实验比较了孪生结构特征提取网络(SSEN-18、SSEN-34)与双路径特征提取网络(DPEN-18、DPEN-34)的性能。消融实验则通过逐步移除DFM、MDFM和MFSM模块构建基线模型(baseline)和模型A(仅MFSM)、模型B(仅MDFM)、模型C(DFM+MDFM),以评估各模块的贡献。

四、主要实验结果

4.1 GF7-CD数据集上的表现

在GF7-CD数据集上,MFFNet在几乎所有评估指标上均优于其他方法。MFFNet的总体精度(Overall Accuracy, OA)为97.76%,精确率(Precision, P)为91.39%,召回率(Recall, R)为91.48%,F1分数为91.44%。相比之下,表现第二的MAPSNet F1分数为90.12%,而STANet虽获得了最高的精确率97.66%,但其召回率仅35.62%,说明漏检严重。FC_EFNet各项指标均较低,IFNet和SNUNet在精确率或召回率上略优于MFFNet,但F1分数显著偏低。可视化结果显示,传统方法常将操场和花坛误判为建筑物变化,而MFFNet有效减少了此类虚警,同时建筑物边缘更加完整。

4.2 3DCD数据集上的表现

在3DCD数据集上,MFFNet同样表现出色,OA达98.59%,精确率86.05%,召回率72.50%,F1分数78.70%,在所有评估指标上均领先于对比方法。可视化分析表明,其他仅使用光谱信息的方法在桥梁中部、建筑物周围阴影及地表光谱变化区域产生了大量虚警,而MFFNet通过引入高程信息能够准确识别高程真正发生变化的区域,建筑物边缘提取也更为完整。

4.3 特征提取网络对比实验

四种特征提取网络配置中,DPEN-34(ResNet-34提取光学影像特征,FCN提取DSM特征)在OA(97.76%)、精确率(91.39%)和F1分数(91.44%)上均取得最佳结果,仅召回率(91.48%)略低于SSEN-18(92.13%)。可视化对比显示DPEN-34的变化区域边界更清晰,断裂更少,证明针对不同数据结构设计专用编码器比共享权重的孪生结构更为有效。

4.4 消融实验结果

基线模型(移除DFM、MDFM和MFSM)的F1分数为80.11%。加入MFSM后(模型A),OA提升3.32%,精确率提升8.56%,召回率提升11.7%,F1分数提升10.09%至90.20%,表明MFSM通过整合多级特征并考虑像素间关系,显著增强了建筑物轮廓的完整性。加入MDFM后(模型B),F1分数提升至87.10%,可视化结果显示误检和漏检明显减少,证明了MDFM在管理语义鸿沟和减少信息冗余方面的有效性。同时加入DFM和MDFM(模型C)的F1分数进一步提升至90.48%,模型对小目标变化的敏感度增强。最终MFFNet以91.44%的F1分数达到最优性能。

4.5 几何信息的作用验证

为深入理解几何信息的重要性,研究构建了模型D(移除DSM数据源的MFFNet)。在3DCD数据集上,模型D的F1分数从78.70%大幅下降至40.83%;在GF7-CD数据集上,F1分数从91.44%下降至84.63%。注意力可视化显示,模型D在桥梁与道路光谱相似、建筑物被阴影遮挡、建筑物与花坛形状相似等场景下均出现注意力分散或漏关注,而引入高程信息的MFFNet能够准确聚焦于高程真正发生变化的区域,有效减少虚警和漏检,并提取出更完整的建筑物边缘。

五、研究结论与价值

本研究提出了一种有效融合光谱与几何信息的建筑物变化检测方法MFFNet。通过双路径特征提取网络分别提取HRRSI的丰富光谱纹理特征和DSM的高程特征,利用多重双模态特征融合模块在多个尺度上高效结合两类特征,并借助多尺度特征混洗模块建立全局上下文关联,MFFNet成功解决了因阴影、植被及具有相似光谱形态特征地物引起的虚警、漏检和边缘不完整问题。在GF7-CD和3DCD两个数据集上的实验结果表明,MFFNet显著优于现有方法,分别取得了91.44%和78.70%的F1分数。

本研究的科学价值在于:提出了一种新的双模态特征融合策略,通过注意力机制和像素混洗技术有效整合了光谱信息与高程信息,为多源遥感数据的建筑物变化检测提供了新思路。应用价值方面,该方法可更准确地大范围监测建筑物变化,对违章建筑检测、灾害评估、施工进度监控及实景三维场景更新等实际任务具有重要意义。

六、研究亮点

本研究的亮点主要体现在三个方面。第一,方法创新性:设计了三模块协同的MFFNet架构,其中DPEN针对不同数据结构采用异构编码器,MDFM通过通道注意力和空间注意力机制实现高效双模态融合,MFSM引入像素混洗技术建立全局像素关联。第二,问题针对性:明确针对建筑物变化检测中的虚警、漏检和边缘不完整三大核心问题,分别通过几何信息互补、注意力融合和全局上下文建模加以解决。第三,验证充分性:在自建GF7-CD和公开3DCD两个数据集上,通过六种对比方法、四组特征提取网络配置及五组消融实验,全面验证了模型的有效性与各模块的贡献。

七、研究局限

尽管MFFNet取得了优异性能,但该方法要求同时具备光学影像和DSM数据,而目前流行的公开数据集通常仅包含光学影像,因此仅在两个数据集上完成了验证,模型的泛化能力仍有待进一步检验。研究团队表示将继续开展该模型的范式研究,以验证其在更多场景和数据条件下的适用性。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com