本文提出了一种基于自适应图注意力（Adaptive Graph Attention, AGA）的无参考图像质量评价（Blind Image Quality Assessment, BIQA）模型，称为 AGAIQA。该研究由 Cardiff University 的 Huasheng Wang、Jiang Liu、Jianxun Lou、Wei Zhou、Hantao Liu 以及大连理工大学 Hongchen Tan 和中山大学 Xiaochang Liu 共同完成，发表于 IEEE Transactions on Circuits and Systems for Video Technology 第 34 卷第 10 期，2024 年 10 月出版。

图像质量评价（Image Quality Assessment, IQA）旨在模拟人类视觉系统对图像质量的感知。其中，无参考图像质量评价由于不依赖原始参考图像，在真实应用场景中具有更高的实用价值。近年来，基于深度学习的 BIQA 方法取得了显著进展，尤其是视觉 Transformer（Vision Transformer, ViT）在捕获全局上下文信息方面展现出强大能力。然而，Transformer 在提取局部细节特征方面存在局限，而局部信息对图像质量的精细感知同样重要。为了缓解这一问题，现有方法通常将卷积神经网络（CNN）与 Transformer 特征结合。但传统卷积操作在处理 Transformer 输出特征图时，常因零填充（zero-padding）引入冗余信息，同时可能造成特征图边缘信息损失。针对该问题，本文提出 AGA 模块，以增强 Transformer 后特征图的局部表示能力，同时减少冗余信息引入，提升 IQA 模型对图像质量的预测精度。

AGAIQA 的整体流程如下。输入图像首先被分割为 8×8 大小的图像块（patch），随后输入 ViT-B/8 进行特征提取。模型从 ViT 的第 7、8、9、10 层提取特征并拼接，形成多尺度特征表示。接着，利用转置注意力块（Transposed Attention Block, TAB）增强不同通道之间的交互，从而编码全局上下文信息。TAB 输出特征随后送入 AGA 模块，该模块由两个核心组件构成：图注意力块（Graph Attention Block, GAB）和注意力选择机制（Attention Selection Mechanism, ASM）。GAB 将特征图中的每个像素视为图节点，根据空间位置连接相邻节点及节点自身，构建邻接矩阵，并引入可训练权重矩阵以自适应学习节点间连接的重要性。在节点更新过程中，中心节点权重设为 1，邻域节点权重之和为 1，从而在不引入零填充的情况下增强局部交互。ASM 则通过学习通道间的重要性权重，进一步增强不同特征通道的交互，提升整体表征能力。为协同增强空间信息，模型在两个 AGA 模块之间插入尺度 Swin Transformer 块（Scale Swin Transformer Block, SSTB）。整个模型最终通过分块分层感知回归（Patch-wise Hierarchical Perceptual Regression, PHP）模块输出质量评分。PHP 模块包含两个分支：MSE 回归分支和深度有序回归（Deep Ordinal Regression, DOR）分支。MSE 分支利用 SSTB 提取空间增强特征，并生成逐像素概率分数及对应的注意力图，通过加权求和得到分数 scoreα。DOR 分支则将输出映射为 30 维的分数概率分布，并通过软有序推理将其转换为连续质量分数 scoreβ。最终得分为两个分支分数的逐元素平均。训练损失函数由 MSE 损失和深度有序损失（deep ordinal loss）加权求和构成，其中 λ 设为 0.5，以平衡两种损失在训练过程中的贡献。

在实验部分，作者使用 LIVE、CSIQ、TID2013、KADID-10k 和 PIPAL 五个人工失真数据集，以及 SPAQ、CLIVE 和 KonIQ-10k 三个真实失真数据集进行评估。评价指标为皮尔逊线性相关系数（PLCC）和斯皮尔曼秩相关系数（SROCC）。实验结果表明，AGAIQA 在所有标准数据集上均取得了优于现有最先进 BIQA 模型的性能。在人工失真数据集中，AGAIQA 的 PLCC 和 SROCC 均高于 MANIQA、DEIQT、TReS、StairIQA 和 DOR-IQA 等对比模型。在 PIPAL 数据集上，AGAIQA 同样表现出色，证明其对 GAN 生成的新型失真具有较强的鲁棒性。在真实失真数据集中，AGAIQA 在 CLIVE、KonIQ-10k 和 SPAQ 上继续保持最优性能，表明模型能够适应真实场景中的复杂失真。此外，作者进行了跨数据集泛化实验，模型在 PIPAL 上训练后直接在 LIVE 和 TID2013 上测试。结果显示 AGAIQA 的 PLCC 和 SROCC 均显著优于其他对比模型，较 MANIQA 平均提升约 3%。为验证性能提升的统计显著性，作者对 MANIQA、DEIQT、TReS、StairIQA 和 DOR-IQA 进行假设检验。在八个数据集上，AGAIQA 与这些模型的性能差异均达到统计显著水平（p<0.05）。消融实验表明，GAB、ASM 和 PHP 三个模块均对最终性能有正向贡献，且三者结合时可获得最佳效果。权重图可视化显示，加入 AGA 模块后，模型能够更准确地关注图像中与感知质量相关的区域。

本研究的主要贡献在于：第一，提出了一种新的 AGA 模块，将 Transformer 后特征图映射为图结构，并通过图注意力机制增强局部信息，避免了卷积操作中零填充带来的冗余信息问题；第二，设计了 PHP 回归模块，将 MSE 回归与深度有序回归相结合，提升了模型对质量分数相对排序的感知能力；第三，通过大量实验验证了 AGAIQA 在多个基准数据集上优于现有最先进方法，且具备良好的泛化能力和鲁棒性。该研究表明，在 BIQA 任务中，Transformer 与图注意力机制的结合能够有效兼顾全局上下文信息与局部细节特征，从而显著提升图像质量预测精度。该方法还可灵活集成到其他基于 Transformer 的视觉任务中，具有广泛的应用前景。