分享自:

基于多尺度快速傅里叶变换的遥感图像超分辨率注意力网络

期刊:IEEE Journal of Selected Topics in Applied Earth Observations and Remote SensingDOI:10.1109/JSTARS.2023.3246564

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:

作者及发表信息

该研究由Zheng Wang、Yanwei Zhao和Jiacheng Chen共同完成,分别来自杭州城市大学计算机与计算科学学院、工程学院以及浙江工业大学计算机科学与技术学院。研究发表于2023年的《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》期刊,具体发表日期为2023年2月20日。

学术背景

研究的主要科学领域是遥感图像超分辨率(Remote-Sensing Image Super-Resolution, RSSR)。随着卷积神经网络(Convolutional Neural Networks, CNNs)的快速发展,基于CNN的遥感图像超分辨率方法在图像重建任务中取得了显著进展。然而,现有的方法在处理遥感图像中不同尺度的物体时表现不佳,限制了超分辨率的性能。为了解决这一问题,作者提出了一种基于多尺度快速傅里叶变换(Fast Fourier Transform, FFT)的注意力网络(Multi-Scale FFT-based Attention Network, MSFFTAN),旨在通过多输入U形结构提取多尺度信息,从而提高遥感图像的超分辨率性能。

研究流程

研究流程主要包括以下几个步骤:

  1. 网络架构设计
    MSFFTAN网络架构基于三阶段U形结构,包含三个编码器块(Encoder Blocks, EBs)和解码器块(Decoder Blocks, DBs)。每个EB和DB由多个级联的FFT-based残差块(FFT-RB)组成。网络的主要部分包括辅助路径(Auxiliary Path, AP)、浅层特征提取块(Shallow Feature Extraction Block, SFEB)、多尺度深层特征提取模块和重建块。

    • 辅助路径(AP):用于补充多尺度信息,帮助网络更好地处理不同尺度的物体。
    • 浅层特征提取块(SFEB):通过两个3×3卷积层和激活单元提取输入图像的低级特征。
    • 多尺度深层特征提取模块:通过多个FFT-RB提取深层特征,并结合分支门控选择块(Branch Gated Selective Block, BGSB)进行特征融合。
    • 重建块:通过卷积层、子像素层和卷积层生成高分辨率图像。
  2. FFT-based残差块(FFT-RB)
    FFT-RB由传统的空间域卷积分支和频域分支组成。频域分支通过快速傅里叶变换将信息转换到频域空间,提取高频特征,然后通过逆傅里叶变换将特征转换回空间域。这种设计使得网络能够同时利用全局和局部信息,从而提高图像重建的质量。

  3. 局部-全局通道注意力块(Local-Global Channel Attention Block, LGCAB)
    LGCAB通过双分支结构分别提取大尺寸和小尺寸目标的信息。全局分支通过全局平均池化(Global Average Pooling, GAP)提取全局特征,而局部分支则保留原始分辨率,捕捉细粒度信息。通过这种设计,网络能够更好地关注重要特征,同时抑制无关信息。

  4. 损失函数设计
    网络使用L1损失和FFT-based频率重建损失(FFT Loss)进行优化。L1损失用于最小化高分辨率图像和超分辨率图像之间的像素差异,而FFT Loss则通过计算频域中的欧几里得距离来优化高频特征的恢复。

  5. 实验验证
    研究在两个公开数据集(UCMerced LandUse和AID)上进行了实验,评估了MSFFTAN在不同放大因子(×2、×3、×4)下的性能。实验结果表明,MSFFTAN在峰值信噪比(PSNR)和结构相似性(SSIM)等定量指标上均优于现有的先进方法,尤其是在处理多尺度物体时表现出色。

主要结果

  1. 定量结果
    在UCMerced LandUse数据集上,MSFFTAN在所有放大因子下的PSNR和SSIM均显著优于其他方法。例如,在放大因子为2时,MSFFTAN的PSNR比第二好的方法(HSENet)高出1.66 dB,SSIM高出0.0394。在AID数据集上,MSFFTAN同样表现出色,尤其是在放大因子为4时,PSNR比TransENet高出1.4 dB。

  2. 视觉质量比较
    与现有方法相比,MSFFTAN生成的超分辨率图像在视觉上更接近真实高分辨率图像,具有更清晰的纹理和边缘,且没有明显的伪影或失真。

  3. 模型复杂度分析
    MSFFTAN在保持较低计算复杂度(FLOPs)的同时,取得了优异的超分辨率性能。例如,MSFFTAN的FLOPs仅为HSENet的一半,但PSNR却高出1.66 dB。

结论

MSFFTAN通过引入多尺度FFT-based残差块和局部-全局通道注意力块,显著提高了遥感图像的超分辨率性能。实验结果表明,该方法在处理多尺度物体和恢复高频特征方面具有显著优势,能够生成视觉质量更高的超分辨率图像。该研究为遥感图像超分辨率任务提供了一种新的解决方案,具有重要的科学和应用价值。

研究亮点

  1. 多尺度特征提取:MSFFTAN通过多输入U形结构和FFT-based残差块,能够有效提取和处理多尺度信息,显著提高了超分辨率性能。
  2. 频域与空间域结合:FFT-RB通过结合频域和空间域特征,能够同时利用全局和局部信息,从而更好地恢复图像的高频细节。
  3. 局部-全局注意力机制:LGCAB通过双分支结构分别关注大尺寸和小尺寸目标,进一步增强了网络的特征提取能力。
  4. 低复杂度高性能:MSFFTAN在保持较低计算复杂度的同时,取得了优异的超分辨率性能,展示了其在实际应用中的潜力。

其他有价值的内容

研究还通过消融实验验证了各个模块的贡献。例如,移除LGCAB或使用其他通道注意力模块(如SE或CBAM)会导致网络性能显著下降,进一步证明了LGCAB的有效性。此外,研究还探讨了不同损失函数对网络性能的影响,表明FFT Loss在优化高频特征恢复方面具有重要作用。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com