本文提出了一种面向遥感变化检测(remote sensing change detection, CD)的通用化框架GenCD,旨在解决模型在训练分布之外的未知场景或领域中的泛化问题,即通用化变化检测(generalizable change detection, GCD)。该研究由西北工业大学计算机学院及人工智能、光学与电子学院的张明伟、胡景涛、李强和王琦等人完成,其中王琦为通讯作者。论文发表于AAAI 2026会议,代码已开源。
研究背景与动机
遥感变化检测通过分析同一地理区域不同时间获取的双时相影像,监测地表动态变化,在灾害响应、生态保护和土地资源管理等领域具有重要应用价值。然而,现有方法多针对封闭数据集设计,难以泛化到未见场景。通用化变化检测的核心挑战来自遥感影像的领域多样性(domain diversity)和双时相领域偏移(bitemporal domain shift),这些偏移由成像平台差异导致的空间分辨率变化、获取时间引起的光照与季节差异、地理位置造成的光谱与结构特性变化,以及外部事件引起的多样变化模式共同造成。近年来,视觉基础模型(vision foundation models, VFMs)在表示泛化能力上展现出显著优势,而参数高效微调(parameter-efficient fine-tuning, PEFT)技术能在保持其泛化能力的同时适配下游任务。受此启发,本文提出基于VFM的GenCD框架。
方法流程
GenCD的总体流程包括双时相特征提取、差异提取、差异解码和分类四个部分。在特征提取阶段,GenCD采用基于现成VFM的孪生编码器对输入图像对进行编码,VFM可选择DINOv2、SAM或CLIP等。由于独立编码每个时间点无法消除双时相图像间的领域差距,本文提出低秩交换适配(low-rank exchange adaptation, LREA)策略注入冻结的VFM中。LREA包含两个分支:一个分支用于任务导向微调,采用LoRA(low-rank adaptation)的低秩矩阵更新方式;另一个分支通过跨时相低秩表示交换实现特征对齐。具体而言,对于双时相输入xt1和xt2,LREA的输出在原有LoRA更新的基础上,引入交换分支,从另一时相的特征中学习与光照、纹理或季节变化相关的领域表示,并通过跨时相调制减轻时序领域差异。这一设计仅引入少量可训练参数,同时保持原始VFM权重冻结,因而兼顾了泛化能力与任务适配能力。
差异提取阶段保留VFM编码器四个阶段的特征图,并分别通过特征拼接或绝对差值两种方式构建多尺度差异特征。差异解码阶段进一步包括特征变换和特征细化两个步骤。变换步骤采用普通卷积算子或特征金字塔网络(feature pyramid network, FPN)融合多尺度特征。随后,通过本文提出的令牌引导特征细化(token-guided feature refinement, TGFR)机制对差异特征进行细化。TGFR使用一个不依赖输入的令牌(token)作为查询,通过多头交叉注意力从空间令牌中聚合全局差异线索。该令牌与CLIP中的[CLS]令牌相似但作用不同,其输入无关性使其能在未见的上下文中有效改善变化识别。具体操作为:将差异特征图重塑为空间令牌序列,可学习令牌通过交叉注意力获得全局表示z,然后计算z与空间令牌的亲和度,再将归一化后的注意力权重与z逐元素相乘并广播到空间维度,最后与原始特征相加得到细化特征。分类阶段将四个尺度的细化特征拼接后,通过两层卷积模块预测变化概率图,并使用交叉熵损失进行训练。
实验设置与主要结果
实验采用跨数据集泛化验证方式,在八个数据集上覆盖三类二值变化检测任务:土地覆盖、土地利用和仅建筑物变化检测。土地覆盖任务使用JL1-CD作为训练集,SVCD和SECOND作为测试集;土地利用任务使用FUSU数据集中的西安(FX)和嘉兴(FJ)两个地点进行交叉测试;建筑物变化检测任务使用LEVIR-CD+训练,在WHU-CD、GZ-CD和Türkiye-CD上测试。评价指标包括平均交并比(mIoU)、平均F1分数(mF1)和总体精度(ACC)。
实验对比了ChangeFormer、Changer、TinyCDv2、MambaBCD、Change3D、TTP、BAN-CF、BAN-Bit等八种现有先进CD方法,以及Rein、FADA和EarthAdapter三种领域泛化语义分割方法。结果显示,GenCD在多个基准上表现优异。在JL2SV任务中,GenCD-FPN和GenCD-VCO的mIoU分别达到67.96%和66.90%,相比此前最优方法分别提升6.51%和5.45%。在LE2TK这一具有地理位置和事件双重偏移的困难任务上,GenCD-FPN的mIoU达到65.90%,GenCD-VCO为65.58%,比EarthAdapter分别提升7.84%和7.52%。视觉对比中,GenCD成功检测出车辆、游泳池转变为裸地以及地震损坏建筑物等此前方法难以识别的变化类型。消融实验表明,绝对差值方案优于特征拼接,而引入LREA后,VCO和FPN解码器下的mIoU分别提升16.55%和12.38%;TGFR的加入进一步提升性能。在多种VFM上的实验证明LREA在不同骨干网络上均优于LoRA。超参数分析显示LREA的秩为8时总体表现最佳,TGFR使用单个令牌优于多个令牌。
结论与价值
GenCD通过LREA有效缓解双时相图像间的领域差距并提升泛化能力,TGFR增强变化区域与未变化区域的可区分性,尤其在未见场景中表现出色。本文的贡献在于首次系统探索了基于VFM的通用化变化检测框架,为遥感变化检测在实际应用中的即插即用部署提供了可行方案。该研究不仅具有理论上的方法创新价值,也为灾害评估、城市管理等实际场景中跨区域、跨平台的变化监测提供了技术支撑。
研究亮点
第一,本文明确针对GCD这一尚未充分探索的任务,提出了基于VFM的框架,弥合了领域泛化语义分割与变化检测之间的方法鸿沟。第二,LREA通过双分支低秩适配实现了任务微调与双时相对齐的统一,且仅需极少可训练参数。第三,TGFR利用输入无关令牌聚合场景不变差异线索,在未见变化类型上仍能提升特征判别力。第四,实验覆盖三类任务、八个数据集,建立了较为完整的基准,为后续研究提供了参考。