分享自:

DMSF-Net:用于精细城市绿地分割的双编码器多源特征融合网络

期刊:Remote SensingDOI:10.3390/rs18142308

本文提出了一种名为DMSF-Net(双编码器多源特征融合网络,Dual-Encoder Multi-Source Feature Fusion Network)的深度学习模型,用于高分辨率遥感影像中城市绿地(UGS)的细粒度语义分割。该研究由Longzhen Jiao、Xiaoyong Zhang、Linlin Lu等人完成,主要作者隶属于北京信息科技大学、中国科学院空天信息创新研究院及中国科学院大学等机构。论文于2026年7月9日发表在期刊《Remote Sensing》上。

城市绿地是城市生态系统的重要组成部分,不同类型的植被在生态功能上存在显著差异。低矮植被(如草地)主要承担地表覆盖调节和景观空间构建功能,而茂密植被(如乔木和林地)在碳汇、降温及生态稳定性方面作用更为突出。因此,将城市绿地细分为“低矮植被”与“茂密植被”不仅有助于提升遥感解译精度,也能为城市生态评估和精细化管理提供更有力的支持。然而,在高分辨率遥感影像中,不同植被类型之间往往存在高度的光谱相似性,且城市地表异质性强,单一像元常混合多种地物类型,这使得分类模型难以在植被类别之间建立稳定的判别边界。此外,植被光谱响应随季节和生长阶段变化,进一步增加了分类难度。传统方法依赖人工特征工程,难以有效建模复杂空间结构和上下文语义;卷积神经网络和Transformer架构虽在语义表示和多尺度建模方面取得了长足进步,但在细粒度类别判别和复杂边界勾画方面仍存在局限。针对上述瓶颈,本文提出了DMSF-Net,旨在通过多源特征融合和边界感知机制提升城市绿地细粒度分割的性能。

在方法设计上,DMSF-Net采用编码器—解码器整体框架。编码阶段构建了两个并行的特征提取分支:一个分支以RGB遥感影像为输入,提取光谱信息和空间上下文特征;另一个分支以NDVI(归一化植被指数)和LBP(局部二值模式)特征为输入,用以增强对植被生理状态和局部纹理结构的表征。两个编码分支均采用ResNet-34作为骨干网络。为了在高层语义特征阶段实现跨源特征融合,研究引入了自适应特征融合模块(AFFM,Adaptive Feature Fusion Module)。该模块通过通道级动态权重学习机制,从主特征和辅助特征的联合表示中生成通道权重,并将权重仅施加于辅助特征,同时通过残差连接保留主特征。与传统的通道注意力方法(如SE-Net和CBAM)不同,AFFM不是对单一输入特征图进行自激励,而是根据联合语义上下文对辅助特征进行选择性调制。具体过程为:首先将主特征与辅助特征在通道维度上拼接,经全局平均池化后通过两个1×1卷积层(中间含ReLU激活)和Sigmoid函数生成通道权重向量;随后用该权重对辅助特征进行逐通道加权;最后将加权后的辅助特征与主特征进行残差相加。这一设计确保了即使辅助特征不可靠,融合特征也能平滑退化为仅依赖主特征,而不会造成性能损失。解码阶段设计了边界感知上采样模块(BAM,Boundary-Aware Upsampling Module)。BAM通过区域恢复路径和边界重建路径的联合建模,在上采样过程中实现对区域语义和边界细节的自适应融合。区域恢复路径使用1×1卷积对输入特征进行上采样,保持整体语义结构;边界重建路径采用平行的3×1和1×3卷积进行方向敏感建模,分别捕捉水平和垂直边界响应,再经逐元素相加和上采样得到边界增强特征。同时,BAM通过卷积和Sigmoid激活生成空间权重图,用于指示不同空间位置上边界信息的重要性,最终以加权融合方式整合两条路径的输出。此外,针对城市绿地分割中类别不平衡问题(背景像素占55.7%,茂密植被占39.9%,低矮植被仅占4.4%),研究设计了加权交叉熵损失与Dice损失相结合的联合损失函数,其中Dice损失仅应用于植被类别,以增强模型对细粒度植被区域的识别能力。

在实验方面,研究构建了一个名为UrbanGreen的数据集。该数据集从中国六个代表性城市(北京、天津、上海、南京、广州和深圳)选取高分一号卫星PMS传感器获取的高分辨率遥感影像,空间分辨率为2米。标注过程中引入近红外-红-绿假彩色合成影像作为辅助信息,以提高低矮植被与茂密植被的区分精度。数据集包含三类标注:背景、低矮植被和茂密植被,共7642个256×256像素的图像块,按城市进行地理隔离划分,训练集6114个样本,验证集764个样本,测试集764个样本。此外,研究还在公开数据集Vaihingen上进行了验证,该数据集包含16幅9厘米分辨率的正射影像,原始标注为六类,研究中将其重映射为背景、低矮植被和茂密植被三类。对比实验选取了U-Net、HRNet、PSPNet、DeepLabv3+、SegNet、U-Net3+、TransUNet、UGSNet和U-Net-Former等主流语义分割模型,所有基线模型均使用相同的五通道输入(RGB、NDVI、LBP)。在UrbanGreen数据集上,DMSF-Net取得了82.27%的mIoU和89.85%的MPA,分别比最佳基线UGSNet(81.20%)和U-Net-Former(81.17%)高出1.07%和1.10%。在低矮植被类别上,DMSF-Net的IoU达到68.72%,显著优于大多数对比方法。在Vaihingen数据集上,DMSF-Net同样取得了最佳整体性能,mIoU为74.73%,MPA为84.81%,低矮植被IoU为60.42%。消融实验显示,引入辅助分支使mIoU从77.91%提升至79.32%;进一步加入AFFM后mIoU提升至81.43%,增幅达2.11个百分点,是结构消融中最大的性能提升步骤;最终加入BAM后完整模型mIoU达到82.27%。输入级消融表明,单独引入NDVI或LBP分别带来0.33%和0.40%的mIoU提升,二者联合使用提升0.78%,说明性能提升主要来源于网络结构设计而非单纯的输入扩展。可视化对比中,DMSF-Net在低矮植被的连续分布识别、边界对齐和复杂背景下的误分类抑制方面均表现出优于基线模型的效果。

研究结论表明,DMSF-Net通过多源特征融合和结构优化的协同作用,有效提升了复杂城市场景中细粒度城市绿地分割的精度和稳定性。AFFM在整体性能提升中起关键作用,BAM则在边界细节优化方面发挥补充作用。该研究为基于高分辨率遥感影像的城市生态监测和精细制图提供了一种有效且稳健的方法学路径,尤其对SDG指标11.7.1的定量评估具有重要支撑价值。研究同时指出,当前辅助特征仅包含光谱指数和局部纹理两个维度,未来可引入高程、多时相植被动态和多模态雷达等更多信息源;在模型泛化性方面,跨区域、跨季节和跨传感器条件下的性能仍需进一步验证;此外,双编码器结构带来的参数和计算开销可通过知识蒸馏、模型剪枝或高效注意力机制等轻量化策略加以缓解。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com