Jiatao Jiang、Zhen Cui、Chunyan Xu和Jian Yang等研究人员在2025年2月的《IEEE Transactions on Neural Networks and Learning Systems》期刊上发表了一项关于图像复原的重要研究,题为“Multi-Level Attention-Guided Graph Neural Network for Image Restoration”。这项研究提出了一种创新的多级注意力引导图神经网络(Multi-Level Attention-Guided Graph Neural Network, MAGN),旨在解决传统卷积神经网络(CNN)在图像复原任务中难以有效整合多尺度信息的局限性。
图像复原是计算机视觉领域的核心任务之一,旨在从低质量图像(如含噪声、模糊或压缩伪影的图像)中恢复高质量图像。传统方法主要依赖空间滤波、稀疏表示或低秩约束,但存在计算成本高、泛化能力差等问题。近年来,基于深度学习的CNN方法(如DnCNN、FFDNet)虽取得显著进展,但仍面临两大挑战:一是局部感受野难以捕捉全局特征;二是非局部神经网络方法(如N3Net)计算复杂度高且缺乏统一框架。此外,图卷积网络(Graph Convolutional Networks, GCN)虽能建模非局部关系,但在局部特征提取和全局表征融合方面仍有不足。为此,本研究提出MAGN,通过动态构建多级图结构,结合注意力机制实现局部结构与全局表征的协同优化。
MAGN采用端到端的残差网络框架,包含以下核心模块:
- 残差模块:由16个残差块堆叠而成,每块包含两个卷积层和ReLU激活函数,用于提取局部特征。
- 图卷积模块:包含全局表征图和局部结构图两个子网络。全局图通过像素级注意力机制(Multi-Head Attention)动态构建邻接矩阵,聚合图像全局信息;局部图则通过滑动窗口(7×7大小,步长4)将特征图分割为重叠块(patch),构建块级图结构以捕捉局部相似性。
- 信息聚合机制:通过图卷积操作(公式8-9)实现像素级和块级信息的双向传播,并采用残差连接与层归一化(公式10-12)稳定训练过程。
研究在三个经典任务上验证MAGN性能:
- 合成图像去噪:在Urban100、BSD68和Set12数据集上测试,添加高斯白噪声(σ=15/25/50)。
- 压缩伪影去除:使用Classic5和LIVE1数据集,JPEG压缩质量因子Q=10/20/30/40。
- 去马赛克:评估McMaster18、Kodak24和Urban100数据集。
训练采用DIV2K数据集(800张高分辨率图像),优化器为Adam(学习率1e-4,批次32),损失函数为均方误差(MSE)。
MAGN通过多级图结构实现了局部与全局信息的动态融合,其科学价值体现在:
1. 方法论创新:首次将注意力引导的图卷积引入图像复原,提出可端到端训练的通用框架。
2. 性能突破:在PSNR和SSIM指标上均达到SOTA,尤其在复杂场景(如Urban100)中优势显著。
3. 应用潜力:适用于医疗影像增强、卫星图像修复等实际场景,代码开源将促进后续研究。
此外,消融实验(表V-VI)证实,7×7的局部窗口尺寸为最优选择,而移除全局图或局部图均会导致性能下降1.2 dB以上,验证了多级设计的必要性。图10-14展示了训练过程中PSNR和SSIM的稳定收敛趋势,证明方法的鲁棒性。
MAGN为图像复原领域提供了新的研究范式,其动态图构建和层级信息聚合策略对多模态数据(如视频、3D医学图像)处理具有启发意义。