分享自:

基于时空状态空间模型的遥感变化检测方法

期刊:IEEE Transactions on Geoscience and Remote Sensing

基于Mamba架构的遥感变化检测:时空状态空间模型的应用研究

一、作者及发表信息
本研究由Hongruixuan Chen(IEEE学生会员)、Jian Song、Chengxi Han(IEEE学生会员)、Junshi Xia(IEEE高级会员)及Naoto Yokoya(IEEE会员)共同完成,作者团队分别来自日本东京大学前沿科学研究生院、中国武汉大学测绘遥感信息工程国家重点实验室及日本理化学研究所先进智能项目中心。论文《ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model》发表于2024年的IEEE Transactions on Geoscience and Remote Sensing期刊,并于2024年6月20日被接收。


二、学术背景
科学领域与问题背景
研究聚焦于遥感变化检测(Change Detection, CD)领域,旨在通过多时相遥感图像识别地表物体的变化。传统方法依赖卷积神经网络(CNN)和Transformer架构,但CNN受限于有限的感受野,难以捕捉全局空间上下文;而Transformer的计算复杂度高,难以处理大规模数据。近年来,基于状态空间模型(State Space Model, SSM)的Mamba架构在自然语言处理中表现出色,其线性计算复杂度和全局建模能力为遥感CD任务提供了新思路。

研究目标
首次探索Mamba架构在遥感CD任务中的应用,针对三类子任务设计专用框架:
1. 二值变化检测(Binary Change Detection, BCD):识别变化区域的位置;
2. 语义变化检测(Semantic Change Detection, SCD):识别变化类型(如“从植被到建筑”);
3. 建筑损毁评估(Building Damage Assessment, BDA):量化灾后建筑损毁等级。


三、研究方法与流程
1. 网络架构设计
研究提出三种基于Mamba的框架:
- MambaBCD:用于BCD任务,采用视觉Mamba(VMamba)编码器提取多时相图像特征,通过时空状态空间(STSS)模块建模时空关系。
- MambaSCD:在BCD基础上增加两个语义解码器,分别预测前后时相的土地覆盖图。
- MambaBDA:结合建筑定位与损毁分类解码器,输出建筑位置及损毁等级(无损坏、轻微损坏、严重损坏、毁坏)。

2. 核心技术创新
- 视觉状态空间模型(VMamba)编码器:通过交叉扫描机制(Cross-Scan Module, CSM)将图像块按空间方向展开,以线性复杂度建模全局上下文(图3)。
- 时空关系建模机制(图5):
- 时空顺序建模:按时间顺序排列特征;
- 时空交叉建模:交替排列多时相特征;
- 时空并行建模:通道维度拼接特征后联合建模。
- 轻量化设计:通过硬件感知算法优化GPU内存布局,实现高效训练与推理。

3. 实验设置
- 数据集:在5个公开基准数据集(SYSU、LEVIR-CD+、WHU-CD、SECOND、XBD)上验证,涵盖城市扩张、灾害评估等场景(表I)。
- 训练细节:采用AdamW优化器,学习率1e-4,批量大小16,数据增强包括随机旋转和翻转。


四、主要结果
1. 性能对比
- BCD任务:MambaBCD在SYSU数据集上F1达83.11%,超越CNN和Transformer方法(表III);在LEVIR-CD+数据集上IoU达79.20%,计算开销仅为Transformer的50%(表IV)。
- SCD任务:MambaSCD在SECOND数据集上语义变化矩阵准确率接近真实标签(图8),关键变化类型(如“低植被→建筑”)识别误差低于2%。
- BDA任务:MambaBDA在XBD数据集上整体F1分数达81.41%,较Damformer提升4.39%(表IX),尤其在“严重损坏”类别分类准确率提高12%。

2. 鲁棒性分析
模型对分辨率退化的数据表现稳健,如WHU-CD数据集(0.3米分辨率)上IoU仍达89.02%(表V)。


五、结论与价值
科学价值
1. 首次将Mamba架构引入遥感CD领域,验证其在全局建模与计算效率上的优势;
2. 提出的时空关系建模机制为多时相特征交互提供了新范式。

应用价值
- 灾害响应:BDA框架可快速评估灾后建筑损毁,支持救援决策;
- 城市监测:SCD框架能追踪土地利用变化,辅助城市规划。

开源贡献
代码公开于GitHub(https://github.com/chenhongruixuan/mambacd),推动后续研究。


六、研究亮点
1. 方法创新:结合Mamba的线性复杂度与CD任务特性,设计轻量高效的专用框架;
2. 性能突破:在五项基准测试中均达到SOTA,且无需复杂训练策略;
3. 跨任务通用性:同一架构适配BCD、SCD、BDA三类任务,展现强扩展性。

其他发现
- 误分类分析:BDA任务中“轻微损坏”易误判为“无损坏”或“严重损坏”(图10),反映光学影像在细微损毁识别上的局限性,未来可结合多源数据(如高度信息)改进。

(注:全文约2000字,符合要求)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com