分享自:

分层注意力Mamba结合空间频率融合的遥感图像超分辨率重建

期刊:ieee transactions on geoscience and remote sensingDOI:10.1109/tgrs.2025.3605861

该文档属于类型a(单个原创研究报告)。以下是针对《IEEE Transactions on Geoscience and Remote Sensing》发表的HAM模型的完整学术报告:


一、研究团队与发表信息

本研究由Mingyue Li(中南民族大学电子信息工程学院)、Chengyi Xiong(IEEE会员,中南民族大学)、Zhirong Gao(中南民族大学计算机学院)及Jiayi Ma(IEEE高级会员,武汉大学电子信息学院)共同完成,发表于2025年《IEEE Transactions on Geoscience and Remote Sensing》第63卷,文章编号5641314。研究得到中央高校基本科研项目(CZ25010)及多光谱信息处理技术国家重点实验室项目(6142113210303)的支持。

二、学术背景与研究目标

科学领域:本研究属于遥感图像超分辨率(RSISR)领域,聚焦于通过深度学习提升低分辨率遥感图像的重建质量。
研究动因:现有基于Mamba的RSISR模型存在两大局限:
1. 层次特征交互不足:传统单向传播策略导致多尺度空间结构(如纹理与语义)融合低效;
2. 局部-全局关联建模不足:固定扫描轨迹限制了非因果局部结构与宏观上下文的同步建模。
研究目标:提出分层注意力Mamba网络(HAM),通过空间-频率特征融合与动态层次聚合,实现高效的多尺度特征捕获与高清重建。

三、研究方法与工作流程

1. 网络架构设计

HAM基于残差嵌套(RIR)框架,包含三个核心模块:
- 浅层特征提取(SFE):通过3×3卷积从输入低分辨率图像提取初始特征。
- 空间-频率Mamba组(SFMG):由6个SFMG模块堆叠而成,每个SFMG包含6个空间-频率Mamba块(SFMB)。SFMB通过以下子模块实现特征增强:
- 视觉状态空间模型(VSSM):采用双向四向扫描策略(SS2D模块)建模长程依赖。
- 空间-频率信息交互模块(SFIIM)
- 动态频谱增强(DFSE):傅里叶变换解耦振幅(全局结构)与相位(局部纹理),分别通过通道注意力(CA)增强;
- 混合空间特征聚合器(HSFA):双分支门控机制(3×3卷积与线性层并行)融合局部特征。
- 分层聚合注意力(HAA):通过差异矩阵(D = max(S) - S)计算跨层特征权重,抑制冗余并增强互补性。

2. 实验设计

  • 数据集:在6个遥感基准数据集(AID、DIOR、DOTA等)上测试,训练集为AID的3000张图像,测试集包含各数据集独立样本(如DIOR 1000张、DOTA 900张)。
  • 训练细节:使用L1损失函数,Adam优化器(初始学习率2×10⁻⁴),数据增强包括水平翻转与随机旋转。
  • 对比方法:与CNN(EDSR、RCAN)、Transformer(SwinIR、ART)及Mamba基线(MambAIR、FMSR)等14种方法对比。

3. 数据分析方法

  • 定量指标:PSNR、SSIM(基于YCbCr亮度通道)、LPIPS(感知质量);
  • 可视化分析
    • 有效感受野(ERF):验证HAM的全局-局部建模能力(图1);
    • 傅里叶分量交换实验:证实振幅与相位对重建的差异贡献(图2)。

四、主要研究结果

  1. 定量性能
    • HAM在UCMerced数据集达到PSNR 29.58 dB,超越NLSN(29.45 dB)、ART(29.50 dB)及MambaIR(29.47 dB);
    • LPIPS指标在DOTA(0.2510)和UCMerced(0.2775)最优,表明其感知质量优势。
  2. 计算效率:参数量仅为FMSR的70%,推理时间比ART减少21.123 ms。
  3. 模块有效性验证
    • HAA机制:通过局部归因图(LAM)显示其激活范围更广,优于SE和ECA注意力(图6);
    • DFSE模块:PSNR比频率选择模块(FSM)提升0.2851 dB(DOTA),且边缘细节更锐利(图9)。

五、研究结论与价值

科学价值
1. 理论创新:提出首个结合Mamba与空间-频率双域学习的RSISR框架,通过振幅-相位解耦与动态层次聚合解决了长程依赖与多尺度融合的难题;
2.应用价值:HAM在保持低计算开销的同时,显著提升复杂场景(如农田条纹、跑道标线)的纹理重建精度,适用于高精度地物观测。

六、研究亮点

  1. 方法创新
    • HAA机制:基于差异矩阵的跨层特征融合策略,突破传统相似性加权的冗余性问题;
    • DFSE技术:首次在Mamba中实现傅里叶振幅与相位的分离增强。
  2. 性能突破:在6个基准数据集上全面达到SOTA,兼顾效率与质量。
  3. 可扩展性:轻量版HAM-tiny(通道数96)在参数量减少46%下仍保持竞争性性能。

七、其他有价值内容

  1. 傅里叶分析实验(图2)证实:相位主导纹理细节,振幅影响全局清晰度,为频率域设计提供理论依据;
  2. 开源实现:代码基于PyTorch,训练仅需单块NVIDIA RTX 3090 GPU,便于复现与迁移。

该研究为遥感图像超分辨率提供了高效的新范式,其双域融合策略与动态层次注意力机制对后续视觉修复任务具有广泛启发。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com