本研究报告基于Xiaohui Chu（IEEE学生会员）、Runze Hu、Yutao Liu、Jingchao Cao和Lijun Xu团队的研究成果，该研究发表于2024年4月的《IEEE Journal of Oceanic Engineering》第49卷第2期637-648页。研究团队来自北京理工大学信息与电子学院和中国海洋大学计算机科学与技术学院。
本研究属于计算机视觉与图像处理领域，聚焦水下图像质量评估(Underwater Image Quality Assessment, UIQA)。水下图像在海洋生物学、水下监视等应用中至关重要，但受水体光吸收和散射影响，图像质量常严重退化。现有UIQA方法面临两大挑战：训练数据稀缺性和水下退化条件复杂性。传统方法依赖手工特征(hand-crafted features)，而深度学习(DL)方法需要大量标注数据。目前最大的公开水下IQA数据库仅含890张图像，远不足以支持有效网络训练。因此，本研究旨在开发一种数据高效(data-efficient)的UIQA框架，能全面捕捉水下图像质量特征。
研究团队提出名为SISC（基于特征交互的度量）的新型UIQA框架，包含两个核心模块：跨空间特征细化(Cross-Spatial Feature Refinement, CFR)模块和跨尺度信息互补(Cross-Scale Information Complementarity, CIC)模块。整体流程如下：
1) 采用ResNet-50作为骨干网络提取多尺度感知特征，得到四个尺度（对应ResNet-50的四个阶段）的特征图 2) 每个特征图送入基于自注意力(self-attention)机制的Transformer编码器进行特征细化 3) 通过跨尺度特征增强模块实现不同尺度特征间的交互 4) 最终使用多层感知机(MLP)头将增强特征映射为质量评分
使用ResNet-50作为基础网络，通过其四个阶段的残差块获得不同尺度的特征图(f1-f4)。为保持后续操作的一致性，将f3和f4通过1×1卷积层和批量归一化层将通道数统一调整为128。
针对CNN的局部偏置(locality bias)问题，设计基于多头自注意力(MHSA)的CFR模块。具体流程： - 将特征图沿通道维度重塑为token序列 - 通过查询(query)、键(key)和值(value)三个线性投影层转换 - 计算注意力分数：attention(qh,kh,vh) = softmax(qhkhᵀ/√d)vh - 多头注意力输出经MLP和层归一化处理 - 最终reshape回原始空间维度得到细化特征
包含两个创新策略： 1) 显著性上采样(Significance-based Up-Sampling, SUS)： - 通过自适应平均池化(adaptive-avg-pooling)提取通道重要性权重 - 利用点积操作实现特征图上采样
2) 交叉注意力下采样(Cross-Attention Down-Sampling, CDS)： - 通过交叉注意力机制实现大尺度特征图与小尺度特征图的交互 - 计算过程：ca(qca,kca,vca) = softmax((qcakcaᵀ)vca)
最终各尺度特征表示通过拼接(concat)操作融合： - f̃3 = concat(f(1)down,f(2)down,z3) - f̃2 = concat(f(1)down,z2,f(3)up) - f̃1 = concat(z1,f(2)up,f(3)up)
最终质量评分通过四个MLP头的加权求和获得：spred = f̃1w1 + f̃2w2 + f̃3w3 + f4w4
研究在两个基准数据库上进行验证：
在UWIQA（890张图像）和UIQAD（3035张图像）数据库上，SISC在四项指标上均优于现有方法： - 斯皮尔曼秩相关系数(SRCC)：0.821（UWIQA）、0.845（UIQAD） - 肯德尔秩相关系数(KRCC)：0.632（UWIQA）、0.657（UIQAD） - 皮尔逊线性相关系数(PLCC)：0.834（UWIQA）、0.858（UIQAD） - 均方根误差(RMSE)：0.421（UWIQA）、0.398（UIQAD）
统计显著性检验(t检验)表明，SISC在所有对比方法上均显著优越(p<0.05)。
仅需40%训练数据时，SISC即可达到现有最佳方法的性能水平（SRCC=0.678），证明其数据高效特性。
验证各模块贡献： - 完整模型：SRCC=0.821 - 仅ResNet-50：SRCC=0.712 - ResNet-50+CFR：SRCC=0.783 - ResNet-50+SUS：SRCC=0.769 - ResNet-50+CDS：SRCC=0.771
本研究提出的SISC框架通过创新的特征交互机制，有效解决了水下图像质量评估中的数据稀缺和复杂退化问题。其科学价值体现在： 1) 首次将跨空间和跨尺度特征交互统一到UIQA框架中 2) 开发了基于注意力的特征增强策略，克服了CNN的局部偏置局限 3) 实现了数据高效学习，减少了对大规模标注数据的依赖
应用价值包括： - 为水下视觉任务（目标检测、基础设施维护等）提供质量保证 - 适应不同水体类型、光照条件和能见度水平 - 特别适合资源受限的水下场景
创新性方法：首次将自注意力(self-attention)和交叉注意力(cross-attention)机制协同应用于UIQA任务，实现局部与非局部特征的统一建模。
高效架构设计：通过CFR和CIC模块的级联，构建了层次化的特征增强流程：
可视化验证：特征图可视化表明：
工程实用性：相比现有最佳方法FDUM[1]，SISC在保持相近计算效率的同时，显著提升了预测精度（SRCC提高约15%）。
研究团队建立的UIQAD数据库（含3035张图像）即将公开，该数据库包含更多深海场景图像和失真类型，将为后续研究提供重要资源。此外，论文详细比较了12种现有IQA方法（包括BRISQUE、DB-CNN、HyperIQA等），为水下图像质量评估领域提供了全面的基准测试结果。