本文提出了一种面向图像质量评估（Image Quality Assessment，IQA）的高效Transformer适配方法，名为局部失真感知的高效Transformer适配（Local Distortion Aware Efficient Transformer Adaptation，LODA）。该研究由武汉大学计算机学院的徐康民、肖菁，南洋理工大学S-Lab的廖亮、陈超锋、吴浩宁，以及商汤科技的颜琼和南洋理工大学林维斯等人共同完成。论文发表于CVPR（Computer Vision and Pattern Recognition）会议，属于计算机视觉领域的顶级学术会议。
从学术背景来看，图像质量评估是计算机视觉中的基础任务之一，其目标是自动评估图像质量并与人类主观判断保持一致。由于图像失真情况复杂、内容多样以及标注数据有限，IQA仍然是一个尚未完全解决的难题。近年来，大规模预训练基础模型在高层视觉任务中取得了显著进展，但缩放定律是否同样适用于与底层视觉线索密切相关的IQA任务仍然是一个开放问题。本文旨在探索如何高效地将大规模预训练视觉Transformer（Vision Transformer，ViT）模型适配到IQA任务中，并提出通过引入局部失真特征来增强ViT在IQA中的表现。考虑到ViT擅长建模非局部依赖关系，但在局部结构和归纳偏置方面存在不足，而卷积神经网络（Convolutional Neural Networks，CNN）擅长捕捉图像的局部结构，作者提出利用预训练CNN提取多尺度特征，并将其注入到ViT中，从而提升IQA性能。
在方法流程上，LODA框架包含两个主要部分：下半部分是一个冻结的大规模预训练ViT模型，上半部分是多尺度特征提取与注入模块。具体来说，首先将输入图像分别送入预训练CNN和大型预训练ViT。预训练CNN输出一组多尺度特征，这些特征经过局部失真提取器（Local Distortion Extractor）处理，该提取器由可训练的卷积层和平均池化层组成，用于提取局部失真特征并降低特征尺寸。随后，这些多尺度失真特征被展平并拼接，形成多尺度失真token，以供后续交互使用。与此同时，输入图像进入ViT后，ViT的token作为查询（query），与多尺度失真token进行交叉注意力（cross-attention）计算，从而从多尺度失真token中查询出与ViT token相似的特征。查询到的特征随后与ViT token相加，从而增强ViT token中的失真相关信息。为了在注意力层输出与输入特征之间取得平衡，引入了一个初始值接近于零的可训练向量。考虑到大规模预训练ViT的通道维度较大，直接使用原始维度进行交叉注意力会带来大量参数和计算开销，因此作者借鉴了自然语言处理中的适配器（adapter）思想，将ViT token和多尺度失真特征通过可训练的多层感知机（MLP）下投影到较小维度，再进行多头交叉注意力计算，最后将结果上投影回ViT的原始维度。在训练过程中，只有局部失真提取器、局部失真注入器和质量回归头是可训练的，预训练ViT编码器和预训练CNN的权重保持冻结。质量回归采用单层回归头，并使用PLCC诱导损失函数进行训练。实验部分在七个经典IQA数据集上进行评估，包括三个合成失真数据集LIVE、TID2013、KADID-10k和四个真实失真数据集LIVEC、KONIQ-10k、SPAQ、FLIVE。评价指标采用斯皮尔曼等级相关系数（SRCC）和皮尔逊线性相关系数（PLCC）。
在主要结果方面，LODA在多个数据集上显著优于现有方法。与传统的无参考IQA方法如ILNIQE和BRISQUE相比，LODA在各项指标上均有大幅提升。与基于Transformer的方法如TReS、DEIQT和LIQE相比，LODA在KADID-10k和KONIQ-10k等数据集上仍能取得领先或具有竞争力的结果。值得注意的是，LODA的可训练参数量仅为9M，远低于许多现有方法，但仍能取得最优性能。在跨数据集评估中，LODA在从一个数据集训练并在另一个数据集测试的设置下，取得了最好的泛化性能，表明其具有较强的鲁棒性。关于大规模预训练模型的影响，实验比较了不同预训练权重（ImageNet-1k、ImageNet-21k、MAE、多模态预训练）对模型性能的影响，结果表明使用更大规模的预训练数据（如ImageNet-21k）和更有效的自监督预训练方法（如MAE）均能为IQA任务带来收益，而多模态预训练权重则未能有效利用。在模型规模的影响方面，从ViT-Tiny到ViT-Small再到ViT-Base，随着骨干网络规模的增大，模型性能持续提升，验证了大规模预训练模型对IQA的积极影响。在数据效率方面，即使只使用20%、40%或60%的训练数据，LODA仍能超越其他方法，并在KONIQ-10k上仅用60%数据即可达到与全量数据训练相当的竞争性能。在微调方法对比中，LODA优于线性探测、全量微调、Adapter、LoRA和视觉提示调优（VPT）等方法，尤其在噪声和量化失真类型上表现突出。消融实验表明，加入局部失真提取器后，性能从仅用ViT的SRCC 0.889提升至0.915（KADID-10k），进一步加入局部失真注入器后提升至0.931，验证了每个组件的有效性。此外，傅里叶分析表明LODA比全量微调的ViT捕获了更多高频信号，注意力图可视化也显示LODA的注意力更加细粒度，包含更多局部边缘和纹理信息。
在结论方面，本文证明了通过适当注入局部失真特征，较大规模的预训练ViT基础模型在IQA任务中表现更好。LODA通过使用预训练CNN提取多尺度失真特征并利用交叉注意力机制将其注入ViT，在仅训练少量参数的情况下实现了最先进的性能。该研究的科学价值在于首次验证了大规模高层预训练模型的知识可以有效提升底层IQA任务，并提出了一个高效适配框架，为解决IQA数据稀缺问题提供了新思路。应用价值方面，LODA在多个标准数据集上展现出卓越的预测精度、训练效率和泛化能力，有望推动实际图像质量评估系统的性能提升，并为后续利用大规模视觉模型增强IQA技术的研究提供参考。
本文的亮点包括：首次将大规模预训练模型高效适配到IQA任务；提出了局部失真提取器和局部失真注入器，通过交叉注意力机制解决多尺度特征与ViT token尺度不匹配的问题；在仅训练9M参数的情况下取得多个数据集的领先性能，展现出极高的参数效率；通过傅里叶分析和可视化等手段验证了CNN高频特征融合对ViT的增强作用。