本文介绍的研究由来自北京交通大学信息科学研究所、北京交通大学软件工程学院以及香港城市大学计算机科学系的Ning Yang、Qihang Zhong、Kun Li、Runmin Cong、Yao Zhao和Sam Kwong共同完成。该项研究成果发表于学术期刊《Signal Processing: Image Communication》2021年第94卷,文章标题为“Reference-free underwater image quality assessment metric in frequency domain”,旨在解决水下图像质量评估这一关键问题。
研究的学术背景植根于图像处理和计算机视觉领域。海洋覆盖了地球71%的表面积,蕴藏着大量资源,但人类对其探索和开发程度极低。水下图像作为获取水下信息的主要载体,在水下环境感知、海洋监测等领域扮演着不可或缺的角色。然而,由于水下环境的特殊物理和化学特性(如光的吸收和散射),获取的水下图像普遍存在色彩失真、对比度低、细节模糊、清晰度差等退化问题,严重影响了图像内容的解读以及后续处理任务(如图像增强、目标检测、分类)的效果。因此,准确评估和预测水下图像的质量,对于水下应用系统具有重要的指导意义。
现有的通用图像质量评估(Image Quality Assessment, IQA)算法,包括全参考(Full-Reference, FR)、半参考(Reduced-Reference, RR)和无参考(No-Reference, NR)方法,虽然在常规(in-air)图像上取得了良好性能,但由于水下图像退化成因的特殊性(如选择性吸收导致颜色偏移、后向散射导致低对比度、前向散射导致模糊),直接将这些通用方法应用于水下图像往往无法获得可靠的结果。例如,文章中图1展示了一个实例:人眼主观评分(MOS)较高的清晰图像,使用通用IQA方法(EMBM和CODE)得到的评分却反而更低,这凸显了开发专门针对水下图像特性的IQA方法的必要性。尽管已有一些水下IQA方法被提出,如UCIQE和UIQM,但它们在评估的全面性或区分能力上仍有不足。同时,该领域的发展也受限于缺乏大规模、标注可靠的水下图像质量评估基准数据集。因此,本研究的目标是:结合水下图像退化机理和人类视觉感知特性,设计一种新的、更有效的无参考水下图像质量评估指标,并构建一个相应的基准数据集以促进该领域的研究。
本研究的工作流程主要包含三个紧密联系的部分:新评估指标(FDUM)的设计与构建、新数据集(UWIQA)的构建与标注、以及综合实验验证。
第一部分:FDUM指标的设计与构建 FDUM(Frequency Domain Underwater image quality assessment Metric)指标通过加权融合三个核心属性——色彩丰富度(Colorfulness)、对比度(Contrast)和锐度(Sharpness)——来评估水下图像质量。研究并非简单组合现有度量,而是对其中两项进行了关键性升级。
首先,对于色彩丰富度度量。现有方法多在空间域计算色度或饱和度的标准差或平均值。考虑到人类视觉系统对图像高频和低频成分的感知能力不同,且不同质量的水下图像的频域成分分布存在明显差异(如图2所示,低质量图像的DCT系数主要集中在左上角低频区域,而高质量图像的DCT系数分布更广),本研究创新性地在频率域设计了一个色彩度量作为补充。具体方法是将图像转换到CIELab颜色空间,计算其色度分量的标准差作为空间域色彩度量。同时,对图像进行离散余弦变换(Discrete Cosine Transform, DCT),计算DCT系数图的标准差作为频率域色彩度量。最终的色彩丰富度度量定义为这两个度量的乘积。这种空间-频域结合的度量方式,使得对颜色失真的评估更为全面。实验表明,该方法给出的评分与人类主观视觉感知具有良好的一致性(如图3)。
其次,对于对比度度量。研究基于Wang等人提出的CCF对比度度量方法进行改进。CCF方法通过计算图像所有边缘块的红通道均方根对比度之和来评估对比度。然而,该方法对不同质量图像的区分能力有限。研究发现,基于暗通道先验(Dark Channel Prior, DCP)生成的图,其强度与图像质量密切相关:质量越差(雾化严重、对比度低)的图像,其DCP图整体亮度越高;质量越好的图像,其DCP图越暗。因此,本研究设计了一个DCP加权机制来增强原有对比度度量的区分能力。具体流程是:首先,对输入水下图像应用DCP算法得到暗通道图;然后,计算暗通道图的均值,并通过一个指数衰减函数生成DCP权重系数,该权重与暗通道图均值呈负相关;最后,用此权重乘以原始的CCF对比度值,得到最终的加权对比度度量。图4和图5的实验结果验证了该设计的有效性:加权后的对比度度量对不同MOS分数的图像区分更明显,评分趋势更符合主观质量差异。
最后,对于锐度度量,研究采用了增强测量估计(Enhancement Measure Estimation, EME)方法,对灰度边缘图的三个RGB通道分别计算EME值,并按视觉响应系数(λ_R=0.299,λ_G=0.587,λ_B=0.114)进行线性组合,得到最终的锐度评分。
完成三个子度量后,研究将色彩丰富度、加权对比度和锐度通过加权求和融合为最终的FDUM指标。加权系数(ω1=0.2982, ω2=0.4439, ω3=0.028)是通过多元线性回归(Multiple Linear Regression, MLR)方法,在构建的数据集上学习得到的。这种融合方式对应于水下图像退化的线性模型:吸收效应对应色彩部分,后向散射对应对比度部分,前向散射对应锐度部分。
第二部分:UWIQA数据集的构建 为了弥补该领域基准数据集的不足,本研究构建了一个大规模的水下图像质量评估数据集,命名为UWIQA。数据源直接采用已有的水下图像增强基准数据集UIEB中的890张原始水下图像。研究邀请了21名具有不同专业背景、年龄和性别的观察者进行主观质量评分。评分过程在一个受控环境下进行,使用统一的高清显示设备。每位观察者进行三轮评估:第一轮浏览所有图像以获得整体印象;第二轮和第三轮对每张图像进行正式评分,采用5分制整数评分(1分最差,5分最好)。最终,取后两轮评分的平均值作为该观察者的原始评分。
在数据处理阶段,首先剔除了与群体平均差异过大的异常评分结果(共7份)。然后,将所有有效评分进行平均,并将结果线性映射到0.1至1.0之间,共10个等级,作为每张图像最终的平均主观意见分。图7展示了数据集中不同MOS组别的图像示例,显示了良好的组内一致性。图8的统计结果显示,数据集的MOS平均值为0.499,图像质量分布广泛,主要集中在中等分数区域,这为算法评估提供了良好的数据基础。
第三部分:综合实验验证 实验部分从客观定量性能评估和图像增强性能评估两个方面验证了FDUM指标的有效性。
在客观定量性能评估中,研究在UWIQA数据集上,将FDUM与三种水下IQA方法(UIQM, UCIQE, CCF)和两种通用IQA方法(CODE, EMBM)进行了比较。评估指标包括皮尔逊线性相关系数(PLCC)、肯德尔等级相关系数(KRCC)和斯皮尔曼等级相关系数(SRCC)。表2的结果显示,FDUM在所有三个相关系数上均取得了最佳性能。例如,其SRCC达到0.683,相较于次优的水下IQA方法(UIQM的0.618和UCIQE的0.622)有显著提升(约10%)。与通用IQA方法CODE相比,提升幅度更大(SRCC提升约18.8%)。这充分证明了针对水下特性设计专用IQA方法的必要性以及FDUM的优越性。
此外,研究还提出了“组内一致性”分析,以检验算法对同一MOS组内图像评分的一致性。理想情况下,算法对同一组图像的评分应接近该组的MOS值。通过计算各组预测评分均值与真实MOS之间的误差,FDUM在平均绝对误差(MAE)和均方根误差(RMSE)上均远低于其他对比方法(见表3)。图9的曲线也直观显示,FDUM的预测曲线最接近代表真实MOS的黑色对角线,这表明FDUM不仅全局相关性好,在细粒度的一致性评估上也表现更佳。
在图像增强性能评估实验中,研究使用FDUM及其他水下IQA方法,对两组不同的水下图像增强算法(Chiang et al. 和 Ancuti et al.)的处理结果进行了评估。如图10和表4所示,从主观视觉上看,Ancuti等人方法的增强效果更好。FDUM指标给出的评分也与此一致,即对所有测试图像,Ancuti方法均获得了比Chiang方法更高的FDUM分数。然而,其他IQA方法(如CCF和UIQM)在某些图像上给出的结论与视觉感知不符。这进一步验证了FDUM在评价不同增强算法效果时的鲁棒性和与人眼视觉感知的一致性。
本研究的结论是,成功提出了一种新的无参考水下图像质量评估指标FDUM。该指标创新性地结合了频域信息进行色彩评估,并利用暗通道先验加权机制提升了对比度度量的区分能力。通过加权融合色彩、对比度和锐度三个属性,FDUM能够有效评估由吸收和散射导致的水下图像退化。同时,研究构建的UWIQA数据集为水下IQA领域提供了重要的基准数据支撑。综合实验表明,FDUM在客观定量指标、组内一致性以及对不同增强方法的评价上,均优于现有方法,且更符合人类主观视觉感知。
本研究的亮点在于:第一,方法设计的创新性,首次在无参考水下IQA中引入频域色彩度量,并创造性地将暗通道先验用于对比度度量加权,提升了算法的感知相关性和区分度;第二,数据贡献的重要性,构建并公开了大规模、标注可靠的水下图像质量评估数据集UWIQA,填补了该领域的数据空白,为后续研究尤其是基于深度学习的方法提供了训练和测试平台;第三,验证的全面性,不仅进行了常规的相关性比较,还引入了组内一致性分析,并从图像增强任务的角度验证了指标的实际应用价值。这些工作共同推动了水下图像质量评估领域的发展,为水下视觉系统的后续处理任务提供了更可靠的自动质量评判工具。