分享自:

多级注意力引导的图神经网络用于图像恢复

期刊:ieee transactions on neural networks and learning systems

Jiatao Jiang、Zhen Cui、Chunyan Xu和Jian Yang等研究人员在2025年2月的《IEEE Transactions on Neural Networks and Learning Systems》期刊上发表了一项关于图像复原的重要研究,题为“Multi-Level Attention-Guided Graph Neural Network for Image Restoration”。这项研究提出了一种创新的多级注意力引导图神经网络(Multi-Level Attention-Guided Graph Neural Network, MAGN),旨在解决传统卷积神经网络(CNN)在图像复原任务中难以有效整合多尺度信息的局限性。

学术背景

图像复原是计算机视觉领域的核心任务之一,旨在从低质量图像(如含噪声、模糊或压缩伪影的图像)中恢复高质量图像。传统方法主要依赖空间滤波、稀疏表示或低秩约束,但存在计算成本高、泛化能力差等问题。近年来,基于深度学习的CNN方法(如DnCNN、FFDNet)虽取得显著进展,但仍面临两大挑战:一是局部感受野难以捕捉全局特征;二是非局部神经网络方法(如N3Net)计算复杂度高且缺乏统一框架。此外,图卷积网络(Graph Convolutional Networks, GCN)虽能建模非局部关系,但在局部特征提取和全局表征融合方面仍有不足。为此,本研究提出MAGN,通过动态构建多级图结构,结合注意力机制实现局部结构与全局表征的协同优化。

研究流程与方法

1. 网络架构设计

MAGN采用端到端的残差网络框架,包含以下核心模块:
- 残差模块:由16个残差块堆叠而成,每块包含两个卷积层和ReLU激活函数,用于提取局部特征。
- 图卷积模块:包含全局表征图和局部结构图两个子网络。全局图通过像素级注意力机制(Multi-Head Attention)动态构建邻接矩阵,聚合图像全局信息;局部图则通过滑动窗口(7×7大小,步长4)将特征图分割为重叠块(patch),构建块级图结构以捕捉局部相似性。
- 信息聚合机制:通过图卷积操作(公式8-9)实现像素级和块级信息的双向传播,并采用残差连接与层归一化(公式10-12)稳定训练过程。

2. 创新算法

  • 动态图生成器:利用多头注意力计算节点相似性矩阵(公式4-5),通过掩码机制(公式6)过滤低相关性节点,生成归一化邻接矩阵(公式7)。该设计避免了传统GCN需手动定义图结构的缺陷。
  • 多级图融合:全局图与局部图分别学习图像的表征和结构信息,通过折叠(fold)操作将块级特征还原至空间维度,最终与像素级特征相加(公式13),形成互补性增强。

3. 实验设置

研究在三个经典任务上验证MAGN性能:
- 合成图像去噪:在Urban100、BSD68和Set12数据集上测试,添加高斯白噪声(σ=15/25/50)。
- 压缩伪影去除:使用Classic5和LIVE1数据集,JPEG压缩质量因子Q=10/20/30/40。
- 去马赛克:评估McMaster18、Kodak24和Urban100数据集。
训练采用DIV2K数据集(800张高分辨率图像),优化器为Adam(学习率1e-4,批次32),损失函数为均方误差(MSE)。

主要结果

  1. 去噪性能:在σ=50噪声下,MAGN于Urban100的PSNR达27.99 dB,超越DAGL(27.97 dB)和GCNN(27.41 dB),SSIM提升0.0014(表II)。可视化结果(图7)显示,MAGN能更精准恢复建筑纹理和草地细节。
  2. 压缩伪影去除:在Q=10时,MAGN于Classic5的PSNR为30.10 dB,较DAGL提升0.02 dB,SSIM领先0.0063(表III)。图8中船舶缆绳的连续性明显优于对比方法。
  3. 去马赛克:MAGN在Kodak24的PSNR达43.29 dB(表IV),较RNAN提升0.2 dB,且参数量仅5.22M,效率优于DAGL(5.62M)。

结论与价值

MAGN通过多级图结构实现了局部与全局信息的动态融合,其科学价值体现在:
1. 方法论创新:首次将注意力引导的图卷积引入图像复原,提出可端到端训练的通用框架。
2. 性能突破:在PSNR和SSIM指标上均达到SOTA,尤其在复杂场景(如Urban100)中优势显著。
3. 应用潜力:适用于医疗影像增强、卫星图像修复等实际场景,代码开源将促进后续研究。

研究亮点

  • 多级图结构:同时建模像素级和块级关系,克服传统CNN的尺度单一性问题。
  • 动态注意力机制:自适应学习节点关联,避免非局部方法的高计算开销。
  • 轻量化设计:参数量仅5.22M,在保持性能的同时提升计算效率。

此外,消融实验(表V-VI)证实,7×7的局部窗口尺寸为最优选择,而移除全局图或局部图均会导致性能下降1.2 dB以上,验证了多级设计的必要性。图10-14展示了训练过程中PSNR和SSIM的稳定收敛趋势,证明方法的鲁棒性。

MAGN为图像复原领域提供了新的研究范式,其动态图构建和层级信息聚合策略对多模态数据(如视频、3D医学图像)处理具有启发意义。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com