本文作者为Wandong Jiang、Yuli Sun、Lin Lei、Gangyao Kuang及Kefeng Ji,其中Wandong Jiang、Lin Lei、Gangyao Kuang和Kefeng Ji来自国防科技大学电子科学学院,Yuli Sun来自国防科技大学空天科学学院及湖南省图像测量与视觉导航重点实验室。该综述发表于《International Journal of Digital Earth》2024年第17卷第1期,文章编号2398051,于2024年9月9日在线发表。本文属于类型b,即综述性科学论文,旨在对多源遥感影像变化检测(remote sensing image change detection, RSICD)领域进行全面回顾与展望。
遥感变化检测(change detection, CD)是遥感技术中的核心任务之一,指利用覆盖同一地区的多时相遥感影像及其他辅助数据,识别和分析地表变化,包括土地覆盖类型、空间分布及地物特征的变化。该技术已在土地资源利用、生态资源监测、自然灾害制图、农作物监测与产量评估、城市发展研究以及多时相军事目标检测等领域得到了广泛应用。随着卫星、飞机和无人机等平台采集的数据日益丰富,多源遥感影像变化检测能够高效获取地面物体变化信息并及时更新现有数据库。尽管变化检测技术已有约六十年的发展历史,但针对多源、数据驱动和大规模人工智能模型等新兴趋势的系统性综述仍然缺乏。为此,本文旨在回顾RSICD的发展历程,分析多源遥感影像的特征,整理公开可用的RSICD数据集,系统分类和总结RSICD方法,评估特定数据和方法在不同应用中的适用性,并在高分辨率影像、多源数据和大规模人工智能模型的背景下讨论挑战与未来方向。
本文系统分析了变化检测相关文献,确定了CD研究历史的三个关键阶段:萌芽阶段、发展阶段和高峰阶段,以机器学习和深度学习技术的两次重大进展作为时间分界。
萌芽阶段(20世纪60年代至80年代末):遥感技术的进步推动了利用卫星数据分析地表变化的尝试。1961年Rosenfeld在自动化侦察数据分析中定义了早期变化检测问题;1977年Weismiller等人提出了最早的CD算法——图像差值法,用于监测海岸环境;1989年Singh进行了首次全面的CD综述,将CD定义为识别物体或现象在不同时间间隔内状态差异的过程,这一定义被广泛引用,标志着CD作为独立领域的开始。该阶段的方法主要基于逐像素比较,通过分析遥感影像的光谱差异提取变化信息,大致可分为代数方法、图像变换方法和分类比较方法。研究数据主要依赖来自同一传感器的低分辨率遥感数据,应用焦点集中于城市化和土地利用变化。
发展阶段(20世纪90年代至2012年):以支持向量机(support vector machine, SVM)等统计方法为代表的机器学习方法带来了重大突破,SVM、马尔可夫随机场(Markov random field, MRF)、随机森林(random forest, RF)、决策树(decision tree, DT)、聚类和极限学习机(extreme learning machine, ELM)等方法被应用于RSICD领域。该阶段最显著的方法还包括地理信息系统(geographic information system, GIS)和面向对象的变化检测方法。GIS技术利用多源数据作为先验知识,面向对象方法将遥感影像分割成语义和空间连续的物体,利用物体级属性和关系检测跨时期的变化。QuickBird、IKONOS和ALOS等高分辨率数据集的出现推动了从基于像素的分析向基于对象的分析的转变。机器学习与GIS和面向对象方法相结合成为主流方法,应用扩展到环境、农业和灾害监测等多元领域。
高峰阶段(2012年至今):2012年AlexNet中引入的ReLU激活函数解决了梯度消失问题,展现出卓越的准确性,深度学习迅速进入RSICD领域并成为主流方法。基于特征提取框架的不同,深度学习方法可分为基于卷积神经网络(convolutional neural network, CNN)、循环神经网络(recurrent neural network, RNN)、生成对抗网络(generative adversarial network, GAN)、自编码器(auto-encoder, AE)和Transformer的方法。多平台和多传感器数据的可用性显著增加,多源RSICD成为新的研究热点,数据分辨率达到亚米级。CD现在聚焦于提供基于场景的理解和空间关系分析,并广泛用于监测气候变化现象,如冰川退缩和海洋温度波动。
基准数据集方面:CD数据已从单一成像机制过渡到涵盖光学、红外、合成孔径雷达(synthetic aperture radar, SAR)和点云等多种成像机制,由无人机和卫星等不同平台获取。SAR影像具有全天候、穿透云层和植被、检测物体散射和地表形变等优势,但存在数据解译困难、易受几何形变和电磁干扰影响、以及受相干斑噪声影响大等缺点。多光谱影像(multispectral image, MSI)具有高空间分辨率和光谱获取能力,但受天气和光谱分辨率限制。高光谱影像(hyperspectral image, HSI)能区分光谱特征相似的物体,光谱信息丰富,但数据量大、处理复杂、成本高。三维点云提供地形高程信息,辅助三维建模和空间分析,但数据密度不均、噪声影响大、获取困难且成本高。本文整理了大量公开可用的光学CD数据集(包括多光谱和高光谱),涵盖土地利用和土地覆盖变化(land-use and land-cover change, LUCC)、建筑变化检测(building change detection, BCD)、城市发展与转型、灾害损失评估、自然资源监测和街景变化等多种应用场景。此外,还整理了公开的SAR CD数据集和三维及异质CD数据集。
变化检测方法分类:基于数据类型,RSICD方法可分为同质和异质CD方法。异质CD涉及不同传感器类型或同一传感器不同成像模式之间的差异,如光学与SAR、LiDAR数据与影像、历史地图与数字高程模型等。异质CD面临成像机制差异、成像条件差异、高分辨率带来的复杂性、图像噪声以及公开数据集稀缺等挑战。解决这些问题的核心方法是将数据转换到可比较的度量空间,主要分为特征变换和图像回归两类。基于检测粒度,CD方法分为像素级、对象级和场景级三种。像素级方法分析配准后的遥感影像中每个像素是否发生变化,实现简单、计算效率高,但对噪声和环境条件敏感。对象级方法以对象为处理单元,考虑形状、纹理、光谱和位置等属性,可减少噪声引起的误分类,但分割阈值确定困难。场景级方法关注整个场景的变化而非单个物体,能区分图像内的物体类型并选择性提取相关变化,但对图像的语义分析要求更高。基于检测框架,CD方法可分为单流和双流框架。单流框架采用统一的处理管道,使用直接分类或图像回归等结构,采用早期融合策略;双流框架将数据输入分为网络的两个并行分支,独立提取多时相影像特征,采用孪生网络或分类后比较等结构,采用后期融合策略。
评价指标与应用:常用的CD评价指标包括精确率(precision, P)、召回率(recall, R)、总体精度(overall accuracy, OA)、交并比(intersection over union, IoU)、F1分数和Kappa系数。RSICD的应用分为三类:动态监测、损害评估和目标侦察。动态监测使用多时相影像持续观测长期地表变化,常用中等分辨率影像如Landsat 8 OLI、Sentinel-2等;损害评估针对自然灾害和军事打击造成的损害,需要轻量级、可迁移和可推广的模型,多传感器联合使用可以克服单一传感器的时序分辨率限制;目标侦察关注关键目标的出现和消失,通常采用亚米级高分辨率卫星影像和多任务CD方法。
本文指出了RSICD领域面临的四个核心挑战。第一,CD样本不平衡问题:变化区域占比远小于非变化区域,且感兴趣的小目标可能被更大的变化区域所掩盖,未来可从数据和算法两个层面改进,如使用数据增强、自监督学习、扩散模型生成样本,以及设计加权损失函数如focal loss、dice loss等。第二,伪变化和复杂场景问题:高分辨率影像中光照、地形和阴影引起的伪变化成为紧迫问题,需结合上下文信息、多尺度分析和领域知识加以区分,同时复杂场景中模型的泛化能力需要通过迁移学习和域适应等技术来提升。第三,多源异质数据的对齐问题:不同成像机制、几何属性和空间尺度导致数据对齐困难,未来研究应将配准和CD程序进行耦合,通过CD获取的未变化数据提高配准精度,同时利用配准提取的特征信息避免重复特征提取。第四,大数据、大规模人工智能和云计算带来的挑战:亟需建立涵盖多维度、多时相和多任务的综合CD数据集以弥补三维信息的缺失;在算法层面,大规模模型如视觉基础模型(vision foundation models, VFMs)、分割一切模型(segment anything model, SAM)和对比语言-图像预训练(contrastive language-image pre-training, CLIP)正在被应用于CD任务,同时应充分利用遥感影像的空间-时间-光谱特征和场景先验知识。
本文的学术价值在于:系统梳理了RSICD六十年的发展历程,将CD研究划分为三个清晰的阶段并以机器学习和深度学习两次技术突破为分界,为研究者构建了完整的知识框架;对多源遥感影像特征进行了深入分析,汇总整理了公开可用的RSICD数据集,为数据驱动方法的应用和大规模人工智能模型的训练提供了基准数据资源;从检测框架、检测粒度和数据源三个维度对RSICD方法进行了系统分类,评估了不同CD数据和方法在不同应用任务和场景下的适用性。在应用价值方面,本文为土地资源管理、生态监测、灾害应急响应和军事侦察等领域的实践者提供了方法选择和数据选用的参考依据。论文最后指出的未来研究方向——构建耦合数据-模型-知识驱动的CD模型,通过变化信息提取、变化目标识别和变化场景理解三个阶段实现对复杂场景的全面理解——为该领域的后续研究提供了有益的启示和引领。