PEFTCD：基于视觉基础模型与参数高效微调的遥感变化检测框架
主要作者与机构
本研究由武汉大学遥感信息工程学院的董思俊（Sijun Dong）、胡宇轩（Yuxuan Hu）和孟小亮（Xiaoliang Meng，通讯作者），南京信息工程大学遥感与测绘工程学院的王立波（Libo Wang），以及广西水利电力勘测设计研究院有限责任公司的陈耿（Geng Chen）共同完成。该论文发表于 Journal of LaTeX Class Files 第18卷第9期（2025年9月）。
学术背景与研究目的
遥感变化检测（Remote Sensing Change Detection, RSCD）旨在通过比较多时相遥感影像识别地表变化，在自然资源、水利等行业具有广泛应用。然而，真实场景中的RSCD面临多重挑战：多时相、多源异构和多尺度变化带来的伪变化（pseudo changes）干扰；高分辨率遥感数据集标注成本高昂且规模有限；异质传感器和多样成像条件引起的域偏移（domain shift）制约模型的跨域泛化能力。近年来，视觉基础模型（Vision Foundation Models, VFMs）如SAM、DINO和CLIP在大规模图像语料上预训练，展现出强大的零样本和迁移学习能力，但其预训练数据主要来自自然场景图像，与遥感影像的俯视视角、复杂地物组成和大尺度空间结构存在显著分布差异，直接迁移至RSCD存在性能瓶颈。全参数微调虽能实现良好的任务适应，但计算与存储成本过高。为此，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法通过冻结大部分预训练参数、仅更新少量新增模块，在保持与全微调相当性能的同时大幅降低训练成本。本研究旨在结合VFMs的表示优势与PEFT的高效适应能力，提出一种新的变化检测框架PEFTCD，以解决伪变化干扰、标注样本稀缺和跨域泛化困难等问题。
研究工作流程
PEFTCD框架采用权重共享的孪生编码器（siamese encoder），骨干网络选取两种代表性VFM：具备强分割先验的Segment Anything Model V2（SAM2）和自监督表示学习模型DINOv3。在骨干网络中注入两种典型PEFT方法——LoRA（低秩适应）和Adapter（适配器）。LoRA假设下游任务适应的权重更新可由低秩分解近似，在多头自注意力（MHSA）的QKV投影中注入低秩增量，秩r=8、缩放因子α=32、dropout=0.1。Adapter在每个Transformer块前插入预块残差MLP，由下投影全连接层、GELU非线性激活和上投影全连接层组成，瓶颈维度为32。所有骨干权重保持冻结，仅训练PEFT模块参数。编码后，对双时相特征执行跨时相特征交换（layer exchange），以增强变化相关信息的建模。
针对SAM2骨干的SAM2CD架构（图2），编码器输出的多尺度特征金字塔在特定层（如偶数层）进行交换，混合时相特征经特征金字塔网络（FPN）融合，再通过基于ResBlock的渐进上采样解码器输出双分支变化概率图。训练时两个输出均与同一真值变化掩膜进行监督，推理时逐像素平均两个概率图以获得稳定预测。
针对DINOv3骨干的DINO3CD架构（图3），由于ViT风格骨干在patch embedding后保持固定1/16分辨率，缺乏FPN式空间金字塔，本文设计了多层融合与上下文增强（Multi-layer Fusion and Context Enhancement, MFCE）解码器。首先从DINOv3 ViT-L16的5、11、17、23层提取特征序列，进行特征层交换；然后通过深度注意力融合（deep attention fusion）对同尺度多层特征进行位置自适应加权融合。具体地，每个特征层经1×1卷积投影到统一维度，再通过轻量1×1卷积生成分数图，softmax归一化后得到空间位置自适应的注意力权重，加权求和得到融合特征。随后采用ASPP（空洞空间金字塔池化）模块进行上下文增强，通过多扩张率的深度可分离空洞卷积构建感受野金字塔。最后经三阶段渐进上采样（1/16→1/8→1/4→原始分辨率）输出变化检测图。
实验在七个公开数据集上进行评估：SYSU-CD（20,000对256×256高分辨率航空影像，香港）、WHUCD（建筑变化，约6,096/762/762训练/验证/测试样本）、MSRSCD（842对1024×1024多类别影像）、MLCD（澳门土地变化，10,000对256×256影像）、CDD（季节变化卫星影像对，10,000/3,000/3,000划分）、S2Looking（侧视卫星建筑变化，5,000对约1024×1024影像）和LEVIR-CD（637对1024×1024谷歌地球建筑变化影像，445/128/64划分）。实现采用PyTorch和PyTorch Lightning，在四块NVIDIA GeForce RTX 4090 GPU上训练，批大小为16，使用AdamW优化器（初始学习率0.0003，权重衰减0.01），交叉熵损失，3,000步预热，监控验证集变化类IoU选择最佳检查点。对比方法涵盖经典CNN/Transformer方法（如STANet、BIT、ChangeFormer）、Mamba系列状态空间模型（如ChangeMamba、CD-STMamba）和基于SAM的方法（如SAM-CD、EFI-SAM）。评估指标包括总体精度（OA）、交并比（IoU）、F1分数、召回率（Recall）和精确率（Precision）。
主要实验结果
定量结果表明PEFTCD在所有七个数据集上均取得领先性能。在SYSU-CD上，PEFTCD的IoU达73.81%，F1为84.93%，比第二名ChangeMamba（IoU 71.10%，F1 83.11%）分别提升2.71和1.82个百分点。在WHUCD上，IoU达92.05%，超过EfficientCD（90.71%）1.34个百分点，精确率达96.79%，表明对假阳性的强抑制能力。在S2Looking上，IoU为52.25%，优于ConvFormer-CD（51.51%）。在MSRSCD上，IoU为64.07%，显著超过DFFNet（61.82%）2.25个百分点。在MLCD上，IoU为76.89%，超过DMINet（74.03%）2.86个百分点。在CDD上，IoU高达97.01%，F1为98.48%，优于HASNet（IoU 96.49%）0.52个百分点。在LEVIR-CD上，IoU为85.62%，F1为92.25%，与EfficientCD（85.55%）和CGNet（85.40%）等相当或略优。定性可视化（图4-10）显示PEFTCD能更完整地识别变化区域（减少红色假阴性），边界描绘更精确平滑，且对背景噪声和伪变化的抑制更强（减少绿色假阳性）。
消融实验（表IX）表明，无论Sam2还是DINOv3骨干，PEFT均比冻结编码器基线获得一致增益。总体而言，DINOv3+LoRA在多数数据集上取得最佳或并列最佳IoU：在SYSU-CD/WHUCD/S2Looking/MSRSCD上分别达73.81⁄92.05/52.25⁄64.07。在MLCD上DINOv3+Adapter略优于LoRA（76.89 vs 76.54）。Sam2骨干在LEVIR-CD和CDD上表现更优：Sam2+LoRA在LEVIR-CD上取得85.62，Sam2+Adapter在CDD上取得最佳97.01。MFCE解码器消融（表X）显示，无论采用Adapter还是LoRA，MFCE解码器在所有数据集上均一致优于仅上采样最终特征表示的基线解码器，验证了同尺度多层融合与上下文增强对弥补ViT骨干空间金字塔缺失的有效性。参数效率分析（表XI）显示，PEFTCD（DINOv3+LoRA）仅需2.86M可训练参数即取得多数据集最佳性能，远低于CDNext（242.66M）、RSMamba（51.59M）等现有模型，而PEFTCD（Sam2+Adapter）为11.00M，PEFTCD（DINOv3+Adapter）为3.67M。
结论与研究价值
本研究提出的PEFTCD框架通过结合VFMs（SAM2、DINOv3）与PEFT策略（LoRA、Adapter），有效解决了遥感变化检测中的伪变化干扰和泛化困难问题。通过冻结骨干大部分参数、仅训练少量新增模块，PEFTCD成功将VFM的强先验知识迁移至变化检测任务。在七个公开数据集上的实验证明PEFTCD在多项指标上取得最先进性能，尤其在变化边界描绘和伪变化抑制方面表现突出。其科学价值在于：证实了PEFT方法能够以极低参数开销（最低2.86M）将大规模视觉基础模型高效适配至遥感像素级任务，为ViT风格单尺度骨干设计MFCE解码器以弥补空间金字塔缺失提供了有效方案。应用价值在于：PEFTCD在精度、效率与泛化之间取得最佳平衡，为资源受限环境下部署大规模基础模型进行实际遥感变化检测应用提供了强大且可扩展的范式。
研究亮点
本研究的亮点包括：第一，提出PEFTCD框架，将SAM2和DINOv3两种最先进的VFMs与LoRA和Adapter两种典型PEFT方法协同整合，实现遥感变化检测的高效适应；第二，针对DINOv3单尺度特征的局限，设计MFCE解码器，通过同尺度多层深度注意力融合和ASPP上下文增强提升特征表达，在保持解码器轻量化的同时有效改善边界描绘和小目标识别；第三，在七个涵盖不同空间分辨率、地理区域和变化类型的公开数据集上取得最先进性能，展示了跨场景泛化能力和对伪变化的强鲁棒性；第四，以极低可训练参数量（2.86M-11.00M）超越或比肩参数量大数十倍乃至上百倍的现有模型，充分证明了PEFT范式在遥感变化检测中的巨大潜力。