分享自:

弥合差距:低光图像增强的感知质量评估与优化

期刊:IEEE Transactions on MultimediaDOI:10.1109/TMM.2023.3312851

本文由陈宝亮(Baoliang Chen)、朱凌宇(Lingyu Zhu)、朱涵威(Hanwei Zhu)、杨文瀚(Wenhan Yang)、宋林琦(Linqi Song)以及王诗琪(Shiqi Wang)共同完成。其中,陈宝亮与朱凌宇为共同第一作者,通讯作者为王诗琪。陈宝亮、朱凌宇、朱涵威和宋林琦来自香港城市大学计算机科学系,杨文瀚来自鹏城实验室,王诗琪同时隶属于香港城市大学计算机科学系及深圳研究院。该研究发表于IEEE Transactions on Multimedia第26卷,2024年,论文标题为“Gap-Closing Matters: Perceptual Quality Evaluation and Optimization of Low-Light Image Enhancement”,数字对象标识符(DOI)为10.1109/TMM.2023.3312851,并于2023年9月7日在线发表。

该研究属于多媒体质量评价与低光照图像增强的交叉领域。在低光照图像增强任务中,尽管已有大量基于直方图均衡、Retinex理论以及深度学习的算法被提出,但在主观质量评价和客观质量模型方面仍存在明显不足。传统增强方法往往只关注亮度提升,容易引入噪声放大、颜色失真和过曝等问题;深度学习方法的监督训练则普遍依赖成对数据,缺乏与人类感知一致的客观质量指引。因此,算法优化过程常常无法保证增强结果在感知层面上的最优性。该研究的核心目标是构建一个“弥合差距”的框架,将主观质量评价、客观质量评估模型和增强模型优化三个环节有效连接起来,从而提升低光照图像增强的感知质量。

研究主要包括三个环节。第一个环节是构建大规模主观质量评价数据库SQUARE-LOL(Subjective Quality Assessment of Reconstructed Low-Light Image)。作者从公开LOL数据集中选取了290幅低光照图像,其中247幅来自训练集、43幅来自测试集,并使用十种经典或最新的低光照增强方法对每一幅图像进行增强,包括相机响应模型(CRM)、联合增强去噪方法(JED)、多尺度Retinex(MR)、同步反射与光照估计(SRIE)、多重融合(MF)等传统方法,以及深度Retinex分解(DRD)、ZeroDCE、EnlightenGAN、自监督方法、深度递归带网络(DRBN)等基于深度学习的算法。最终得到2900幅增强图像。数据库采用两两比较的主观测试方式,即二选一强制选择(2AFC),每位受试者需要在两张由同一低光照图像增强而来的候选图中选择质量更佳的一张。总比较对数为C(10,2)×290,即13050对。共有30名受试者参与实验,每幅增强图像获得270次投票。根据投票数计算意见分数(Opinion Score),例如EnlightenGAN在某示例场景中获得197票,意见分数为0.7296,在该场景的十种方法中表现最佳。该数据库覆盖了噪声污染、模糊、过曝、欠曝、对比度降低、颜色偏移和细节丢失等多种失真类型。

第二个环节是设计盲图像质量评价(BIQA)模型IACA(Illumination Aware and Content Adaptive quality assessment model)。该模型以ResNeXt-32×8d为骨干网络,并在ImageNet上预训练后去除最后的全连接层。由于低光照增强任务中光照信息至关重要,而预训练ResNeXt主要针对正常光照图像,作者引入了光照调制策略:使用max-RGB方法估计输入图像的最大通道亮度图,并通过最大池化将其尺寸调整至与各尺度特征图一致,随后通过三个卷积层提取光照感知特征并与原始图像特征融合。此外,为增强泛化能力,模型对第四层和第五层卷积特征分别进行全局平均池化和标准差池化,得到f_mean_s1、f_std_s1、f_mean_s2和f_std_s2四类特征。其中均值特征承载更多语义信息,如果直接用于回归容易导致对训练场景的过拟合。因此,作者将均值特征通过多层全连接网络生成注意力图,用于对标准差特征进行加权,从而实现内容自适应。最终在SQUARE-LOL数据库上,IACA模型的SROCC达到0.875,PLCC达到0.873,显著优于NIQE、BRISQUE、CORNIA、HOSA、Bilinear、WADIQaM-NR、MetaIQA和Norm-in-Norm等方法。消融实验表明,多尺度特征、光照调制和内容自适应三个模块对性能均有正向贡献,其中去除光照调制会使SROCC从0.875下降至0.866。

第三个环节是将IACA模型嵌入低光照增强模型的优化过程。作者在SRCNN和DRBN两种网络架构上验证了质量引导优化的有效性。损失函数由基于SSIM的保真项和基于IACA的质量项组成,如公式L = φ_f(x_r, N(x; w)) + λφ_q(N(x; w))所示,其中φ_q定义为|q_max − IACA(N(x; w))|。实验结果显示,使用IACA优化后的结果在主观测试中获得了更高的偏好率:SRCNN架构下,被试对优化结果的偏好率达到70%,DRBN架构下达到62%。在个体层面,超过90%(SRCNN)和83%(DRBN)的被试更偏好优化图像。此外,模型还被应用于MIRNet V2和BasicSR-RCAN两种不同的增强架构,结果表明在这些架构上同样可以改善对比度、缓解过曝和提升亮度,进一步验证了IACA模型的泛化能力。在与Bilinear模型进行优化对比时,Bilinear在灯光区域容易产生较差结果和阴影伪影,而IACA优化结果在视觉质量上更加自然。

该研究的主要结论是:通过构建专门的SQUARE-LOL主观数据库,可以系统揭示低光照增强图像质量评价中的挑战;IACA模型通过光照调制和内容自适应机制,能够更准确地预测增强图像的感知质量;将该质量模型纳入增强网络的训练损失函数,可以在多种网络架构上有效提升增强图像的主观视觉质量。文章提出的“从增强到评价、从评价到增强”的闭环框架,为低光照图像增强领域提供了一条系统化的感知质量优化路径。该研究的科学价值在于建立了低光照增强质量评价的基准数据库和有效客观模型,应用价值在于可以直接指导增强模型的训练与优化,提高实际拍摄场景中的图像质量。其亮点包括大规模成对比较数据库的构建、光照感知与内容自适应融合的BIQA模型设计,以及面向感知最优性的增强优化策略。作者同时指出,未来可以进一步建立更精细的闭环,将优化后的图像再次纳入质量评价,以形成更加完善的迭代优化体系。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com