本文发表于“Journal of LaTeX Class Files”2021年8月刊（第14卷第8期）。这项研究的主要作者为赵凌、黄振洋、匡东生、彭承利、甘军和李海锋（IEEE会员）。作者机构主要来自中南大学地球科学与信息物理学院，甘军来自中国铁路设计集团有限公司。
本研究属于遥感科学、计算机视觉与人工智能交叉领域，具体聚焦于变化检测这一重要任务。变化检测旨在通过分析不同时间获取的遥感影像，识别特定地物（如建筑、道路、植被等）的变化情况，广泛应用于灾害评估、环境监测、土地利用管理和城市变化分析等场景。
研究团队指出，现有变化检测方法可以被归类为“视觉优先的变化检测范式”。其工作流程是：首先从两期影像的视觉差异中提取变化特征，然后再为这些特征赋予特定的语义信息（例如，这是“建筑”的变化）。然而，研究的核心观点认为，变化检测的本质任务应取决于用户感兴趣的特定语义变化区域。这意味着，任务的首要驱动因素是用户关注的“语义”，而非纯粹的“视觉”差异。VIFi-CD范式存在固有缺陷：1) 无监督方法易将任何视觉差异（如光照、季节变化）误判为感兴趣的变化，或忽略视觉差异小但语义变化大的情况；2) 基于深度学习的监督学习方法在特定数据集上训练后，其模型只能检测训练过的特定类型变化。若需检测其他类型的变化，必须重新标注数据并训练模型，成本高昂且灵活性差。
为解决上述问题，本研究提出了一个全新的“语义优先的变化检测”范式。SEFi-CD的核心思想是：首先根据用户提供的文本提示，动态感知和理解其感兴趣的语义内容，然后主动在图像中搜索与该语义相关的变化特征。基于此范式，研究者设计并实现了首个SEFi-CD框架，称为“任意所需变化检测”。该框架旨在仅通过修改文本提示，而无需重新训练模型，就能灵活地检测不同语义类别的变化。
AUWCD框架包含三个核心模块：语义对齐模块、感兴趣变化区域分割模块和变化检测模块，其详细工作流程如下：
1. 语义对齐模块： 该模块的核心功能是将多时相图像的特征空间与用户提供的文本提示的语义空间进行对齐。它以视觉-语言模型作为核心组件。研究中以CLIP Surgery为例说明了该模块的运作细节。 * 输入：双时相影像（T1和T2）以及描述用户感兴趣变化区域的文本提示（例如，“建筑屋顶”）。可选地，还可以输入描述不感兴趣区域的文本提示以进行抑制。 * 过程： * 图像编码：使用共享权重的图像编码器分别对T1和T2影像进行编码，得到图像特征表示I1和I2。 * 文本编码：使用文本编码器对文本提示（包括感兴趣区域和不感兴趣区域）进行编码，得到文本特征表示T1和T2。 * 生成相似度图：通过计算图像特征与文本特征间的相似度，生成两张热力图，分别表示T1和T2影像中每个位置与用户感兴趣语义的匹配程度。计算公式体现了文本间的对比（感兴趣文本 vs. 不感兴趣文本），以增强区分度。 * 生成点提示：在降采样后的相似度图上，根据预设阈值，选取相似度最高的一批点作为“正提示点”（指示ROI区域），选取相似度最低的一批点作为“负提示点”（指示非ROI区域）。然后将这些点的坐标映射回原始图像尺寸。最终输出是为两期影像各自生成的一组视觉提示点。 * 研究客体与样本：该模块是算法流程的一部分，其处理对象是输入的图像像素和文本字符串。在实验中，使用了公开数据集中的图像对和预定义的文本提示进行验证。
2. 感兴趣变化区域分割模块： 该模块接收来自语义对齐模块生成的视觉提示点，并利用基础分割模型对两期影像中的ROI进行精确分割。研究中以分割一切模型为例进行说明。 * 输入：T1和T2原始影像，以及对应的来自上一模块的视觉提示点集。 * 过程： * 使用共享权重的基础分割模型。该模型通常包含图像编码器、提示编码器和掩码解码器。 * 图像编码器提取图像深度特征。 * 提示编码器将输入的点提示（正/负点）编码为提示令牌。 * 掩码解码器通过交叉注意力机制，融合图像特征和提示令牌，最终为每期影像生成一个二值分割掩码，该掩码精确勾勒出用户指定语义的物体轮廓。 * 研究客体与样本：该模块的处理对象是图像及其关联的提示点。实验使用了预训练的SAM模型，无需针对特定任务进行微调。
3. 变化检测模块： 该模块负责对两期影像的分割结果进行比对，最终生成变化图。 * 输入：从模块2获得的两期影像的ROI分割掩码。 * 过程： * 采用集合运算进行变化处理。具体公式为：变化图 = (掩码T1 ∪ 掩码T2) \ (掩码T1 ∩ 掩码T2)。其中，∪ 代表并集，∩ 代表交集，\ 代表差集。 * 这个操作的含义是，找出在两期影像中只出现在其中一期的像素区域，这些区域即为发生了变化的区域。 * 研究客体与样本：该模块的处理对象是二值掩码图像，输出是同样尺寸的二值变化图。
本研究的主要结果基于在两个公开遥感变化检测数据集上的实验得出，并与多种先进的监督学习方法进行了对比。
1. 比较实验结果： 实验设计巧妙地在SECOND数据集上进行。该数据集包含六种地物类别。为了模拟VIFi-CD方法在适应新任务时的局限性，研究者为对比的监督学习基线模型仅提供某一类别的训练样本（例如，只用水体样本训练一个模型），然后用这个训练好的模型去测试所有六个类别。而对于AUWCD框架，则仅需将每个类别的文本描述（如“水体”）作为输入，即可直接测试。实验重复了三次，分别以“树木”、“水体”和“操场”作为训练类别。 * 结果：当测试的类别与模型训练类别一致时，一些先进的监督学习基线模型表现优于AUWCD。然而，当测试未提供训练样本的类别时，AUWCD的性能显著超越所有监督学习基线。定量数据显示，在SECOND数据集上，AUWCD的F1分数平均超出这些先进监督基线5.01个百分点，最高超出13.17个百分点。这强有力地证明了SEFi-CD范式在无需重新训练的情况下，动态适应不同任务需求的卓越灵活性。 * 结果逻辑：这一结果直接验证了研究开篇提出的核心问题：VIFi-CD范式难以适应不同感兴趣变化区域检测任务，而SEFi-CD范式通过语义优先、提示驱动的方式，从根本上解决了这一问题。
2. 消融实验结果： 通过一系列消融实验，详细分析了影响AUWCD性能的关键因素。 * ROI文本提示的影响：在建筑变化检测任务中，使用不同详细程度的文本描述（如“建筑”、“屋顶”、“铁质建筑房屋屋顶”）会导致检测性能的显著差异。实验发现，“铁质建筑房屋屋顶”这个更具体、更具描述性的提示词取得了最佳的F1分数，比简单提示“建筑”高出3.44个百分点（变化检测任务）。这证明了高质量、精确的语义提示对于VLM的理解和后续检测至关重要。 * CROUI文本提示的影响：在建筑变化检测中，引入描述常见伪变化（如“道路”、“阴影”、“树木”）的CROUI文本提示，可以抑制模型对这些不感兴趣区域的关注。实验表明，使用组合的CROUI提示（“道路，阴影，树木”）能够带来最显著的性能提升（F1提升2.66个百分点），优于使用单一CROUI提示或空提示。 * 阈值的影响：在生成点提示时，相似度阈值决定了选取点的数量和位置。实验发现，F1分数和精确率随阈值变化呈先升后降的抛物线趋势。在BCD数据集上，阈值为0.55时取得了最优的F1分数。研究还观察到，变化检测的误差大约是单期影像分割误差的√2倍，这符合误差传播理论，并指出优化变化处理过程是未来的研究方向。 * VLM模型性能的影响：使用不同规模的CLIP Surgery模型（csvit-b-16, csvit-b-32, csvit-l-14）进行实验。结果显示，模型规模越大、能力越强，最终的CD和分割性能也越好，证明了AUWCD的整体性能与所采用的VLM性能呈正相关。
3. 可视化结果： 研究提供了丰富的可视化结果。在BCD数据集上，展示了针对单一ROI（建筑）的完整检测流程，包括语义对齐模块生成的相似度热力图和点提示图，以及最终的变化图。同时，也展示了在同一对影像上，仅通过更换文本提示（如“建筑”、“树木”、“河流”、“汽车”），AUWCD框架即可成功检测出不同语义目标的变化，直观地证明了其“任意所需”的灵活检测能力。
本研究的主要结论是，提出并验证了一种革命性的变化检测范式——语义优先变化检测范式。该范式将任务的核心从“视觉差异驱动”转变为“语义兴趣驱动”。基于此范式实现的AUWCD框架，在无需重新训练模型的情况下，仅通过修改文本描述就能灵活适应多样化的变化检测任务，并在多个未训练类别上超越了需要专门训练的先进监督学习方法。这不仅为解决现有VIFi-CD范式的固有问题提供了有效方案，也为未来变化检测乃至更广泛的视觉理解任务开辟了新的研究视角和方法途径。
本研究的亮点在于： 1. 范式创新：首次系统性地总结了现有变化检测方法为“视觉优先”范式，并深刻剖析了其局限性，进而提出了开创性的“语义优先”新范式。 2. 方法新颖：设计了首个基于SEFi-CD范式的通用框架AUWCD，创造性地整合了视觉-语言模型和基础分割模型，实现了由自然语言提示驱动的、开放式变化检测。 3. 灵活性突出：实验充分证明了该方法无与伦比的灵活性，能够“零样本”或“少样本”地适应新的检测任务，极大降低了应用成本和门槛。 4. 详实的验证：通过严谨的比较实验、消融实验和可视化分析，从定量和定性两个层面全面验证了新范式的有效性和优越性。
此外，研究还对未来方向进行了展望，包括：研究更复杂的变化检测任务、构建适用于“语义优先”范式的专用数据集、探索性能更优的视觉-语言模型、以及优化变化处理模块以减少误差累积等。这些都为后续研究指明了有价值的探索路径。