分享自:

低光图像增强质量的联合亮度-色度学习评估

期刊:Pattern RecognitionDOI:10.1016/j.patcog.2025.112395

针对低光图像增强质量评估的联合亮度-色度学习网络研究

一、研究概况

本文所报道的研究由宁波大学信息科学与工程学院的管图新(Tuxin Guan)、蒋秋萍(Qiuping Jiang)、柴雄力(Xiongli Chai)以及上海海事大学物流科学与工程学院的李朝锋(Chaofeng Li)共同完成。该研究成果发表于 Pattern Recognition 期刊第172卷(2026年),文章编号为112395,于2025年9月3日在线发表。蒋秋萍为本文通讯作者。研究所涉及的源代码已公开于GitHub平台(https://github.com/li181119/jlclnet)。

二、研究背景与目的

低光环境下拍摄的图像普遍存在亮度不足、对比度下降、细节丢失、噪声增多以及严重色偏等退化现象。这些退化不仅影响人眼视觉感知,还会直接干扰诸如显著性目标检测和深度估计等计算机视觉算法的性能。因此,低光图像增强(low-light image enhancement, LLIE)技术的研究具有重要意义。然而,如何客观、准确地评估不同低光增强算法所生成增强图像的质量,即低光增强质量评估(low-light enhancement quality assessment, LEQA),已成为该领域的关键问题。

现有的LEQA方法大致可分为主观方法和客观方法两类。主观方法虽然较为可靠,但耗时费力且缺乏实时性。客观方法又分为全参考(full-reference, FR)和无参考(no-reference, NR)两大类。由于高质量正常光照参考图像难以获取,无参考LEQA方法更具实用价值。然而,当前无参考方法存在明显不足:基于手工特征的方法依赖于浅层特征表示,难以全面刻画增强图像的失真特性;而基于深度学习的方法虽然性能有所提升,却未能充分利用低光增强图像(low-light enhanced images, LEIs)的独特特征——即亮度增强与色彩细化之间的协同关系。

针对上述问题,本文提出了一种新颖的联合亮度-色度学习网络(joint luminance-chrominance learning network, JLCLNet)。该网络的核心目标是同时评估低光增强算法在可见度提升和色彩恢复两个感知维度上的表现,从而实现对增强图像质量的全面评价。

三、研究方法与工作流程

3.1 色彩空间转换与双分支架构设计

论文首先对输入的增强图像进行CIELAB色彩空间转换,将亮度信息(L通道)与色度信息(A、B两个通道)进行分离。选择CIELAB色彩空间的依据在于:该色彩空间能够更彻底地分离色度信息与亮度信息,且其三个通道之间的非线性关系可以模拟视网膜中L、M、S锥细胞的非线性响应,从而均匀量化感知色彩差异。基于此,网络被设计为双分支架构:亮度学习分支(luminance learning branch)以色度L通道为输入,色度学习分支(chrominance learning branch)以A和B两个色度通道为输入。

3.2 亮度学习分支的构建

亮度学习分支的核心任务是通过分析亮度通道L来评估可见度提升效果。研究采用双树复数小波变换(dual-tree complex wavelet transform, DTCWT)对亮度通道进行分解。DTCWT由两棵独立的离散小波变换树构成,分别对应实部和虚部,每棵树将输入信号分解为六个不同方向的子带(对应±15°、±45°和±75°角)。与传统的离散小波变换相比,DTCWT不仅保留了多分辨率特性,还提高了方向选择性,并具有平移不变性。

分解后得到的低频子带和高频子带分别被送入两个子网络进行处理。低频子网络首先使用多尺度模块(multi-scale block, MSB)提取浅层特征,该模块并行使用卷积核大小分别为3×3、5×5和7×7的三个复数卷积(complex-valued convolution, cv-conv)层进行特征提取,随后通过若干个低频特征提取模块(low-frequency feature extraction modules, LFEMs)提取层次化特征。LFEM基于复数残差组(cv-resgroup)架构构建,包含两个复数残差块(cv-resblocks)和一个cv-conv层,采用残差学习策略。高频子网络则使用高频特征提取模块(high-frequency feature extraction module, HFEM),该模块包含两个复数残差密集块(complex-valued residual dense blocks, cv-RDBs)和方向感知模块(direction-aware modules, DAMs)。每个cv-RDB包含密集连接、局部特征融合和局部残差学习三个部分。DAM模块利用DTCWT的方向各向异性特性,通过多个独立的cv-conv层和Sigmoid激活函数计算权重,对不同子带进行逐元素加权以选择重要信息。

此外,论文还构建了复数上下文聚合模块(complex-valued context aggregation block, cv-CAB)用于对低频特征进行全局建模,解决卷积层仅能关注局部区域、长距离依赖需要通过堆叠多层才能建模的问题。

3.3 色度学习分支的构建

色度学习分支的目标是评估增强算法可能导致的色彩失真。该分支并行处理CIELAB色彩空间中的A和B两个色度通道,通过若干个级联的复数残差组(cv-resgroups)提取互补感知特征。论文提出色度融合模块(chrominance fusion module, CFM),其计算方式为:对两个通道对应特征图的实部和虚部进行模长计算后融合。这种熵减小的表示方式可以模拟视网膜中色彩差分神经节细胞的响应机制。此外,还设计了多阶段聚合模块(multi-stage aggregation block, MSAB),将来自多个CFM的不同尺度的层次化特征进行尺寸统一、通道拼接和特征提取。

3.4 质量回归与模型训练

两个分支提取的感知特征被融合后送入质量回归模块。该模块由三个级联的复数全连接层(complex-valued fully connected, cv-fc)构成,并使用LeakyReLU激活函数和Dropout层。最终图像的预测分数为所有随机裁剪图像块预测分数的平均值。模型训练使用平均绝对误差损失函数,优化器采用Adam,初始学习率为2×10⁻⁴,批大小为32。训练时从每张输入图像中随机裁剪14个尺寸为224×224像素的图像块并进行随机翻转;测试阶段同样随机裁剪14个图像块。

3.5 实验设置与对比方法

实验在四个公开的LEQA数据集上进行:EHNQ(真实数据集,100张低光图像,1500张增强图像,15种增强算法)、LIEQ(合成数据集,100张低光图像,1000张增强图像,10种增强算法)、LEISD(合成数据集,255张低光图像,2040张增强图像,8种增强算法)和SQUARE-LOL(合成数据集,290张低光图像,2900张增强图像,10种增强算法)。对比方法包括三类:通用无参考图像质量评估(blind image quality assessment, BIQA)模型(如BRISQUE、PSQA-I、CTQA、DBCNN、HyperIQA、VCRNet、VIPNet、TReS、TempQT)、对比度失真IQA模型(NIQMC、BIQME)以及专门的LEQA模型(NLIEE、MFRQA、IACA)。所有深度学习方法均在相同配置下重新训练。

四、主要实验结果

在单个数据集的性能对比中,JLCLNet在三个数据集上取得了最优的SROCC和PLCC结果。具体而言,在EHNQ数据集上SROCC达到0.837、PLCC达到0.877,分别比第二名IACA模型高0.5%和2.2%;在LIEQ数据集上SROCC为0.872、PLCC为0.885,分别高1.4%和1.6%;在SQUARE-LOL数据集上SROCC为0.892、PLCC为0.908,分别高1.2%和2.7%。在LEISD数据集上,SROCC为0.761(略低于IACA的0.765),PLCC为0.797。在直接均值和加权均值指标上,JLCLNet相比第二名IACA分别提高了0.7%和0.6%。

在增强子集上的鲁棒性验证中,论文将真实数据集EHNQ按图像分辨率划分为Subset-512和Subset-1024两个子集,将合成数据集SQUARE-LOL按增强算法类型划分为传统方法子集和基于学习方法子集。实验结果显示,JLCLNet在所有子集上的SROCC和PLCC均优于其他对比方法,证明该方法对图像分辨率变化和增强算法类型变化均具有较强的鲁棒性。

在跨数据集泛化性验证中,以三个数据集(EHNQ、LIEQ、LEISD)中的任意一个作为训练集,其余两个作为测试集进行交叉验证。结果表明,由于合成数据集与真实数据集之间存在显著的分布差异,所有模型的性能在跨域迁移时均出现下降;但JLCLNet在六种训练-测试组合中有四种组合的SROCC排名第一,两种组合排名第二,平均SROCC为0.637,高于第二名IACA的0.628,展现出最强的泛化能力。

在消融实验中,单独使用亮度学习分支或色度学习分支的性能均低于完整的JLCLNet,验证了双分支协同学习的必要性。色彩空间选择实验表明,用YCrCb或HSV替换CIELAB分别导致EHNQ数据集上SROCC下降1.1%和3.3%,在LIEQ数据集上下降1.5%和4.0%。模块有效性实验验证了MSB、cv-CAB、DAM、CFM和MSAB五个关键组件对模型性能均有正向贡献。

在夜间图像质量评估数据集NNID和对比度失真数据集CCID2014上的进一步验证中,JLCLNet同样取得了最优结果,表明其亮度-色度协同学习策略对LEQA相关任务具有良好的适用性。

五、研究结论与价值

本文提出了一种基于亮度-色度协同学习的无参考低光增强图像质量评估方法。该方法利用CIELAB色彩空间分离亮度和色度信息,通过DTCWT分解亮度分量以同时评估全局对比度提升和局部结构保持,通过并行处理两个色度分量以评估色彩失真,最终融合双分支特征进行质量分数预测。实验结果充分证明了该方法在多个基准数据集上的性能优势和跨域泛化能力。

从科学价值角度看,该研究揭示了亮度增强与色彩细化之间的感知协同关系对LEQA任务的重要性,为后续研究提供了双分支协同学习的新思路。从应用价值角度看,该方法可用于自动筛选和优化低光增强算法,也可作为损失函数或指导信号嵌入增强网络训练过程,推动低光图像增强技术的进一步发展。此外,该方法在夜间图像质量评估和对比度失真评估等相关任务中也表现出良好的迁移能力。

六、研究亮点与特色

本研究的主要亮点包括:第一,提出了双分支亮度-色度协同学习架构,全面考虑了低光增强图像在可见度和色彩两个感知维度上的质量变化;第二,采用DTCWT分解亮度分量,相比传统离散小波变换具有更好的方向选择性和平移不变性,能有效捕获结构损失和过增强等局部细节退化;第三,引入复数神经网络(complex-valued neural network)进行感知特征提取,增强了模型的表征能力和泛化性能;第四,设计了多个具有明确感知动机的创新模块,如方向感知模块(DAM)、色度融合模块(CFM)和复数上下文聚合模块(cv-CAB),分别针对DTCWT的方向各向异性、视网膜色彩差分神经节细胞响应机制和长距离依赖建模需求;第五,构建了包含真实数据和合成数据的多样化实验协议,通过子集划分、跨数据集验证和相关任务迁移验证全面检验了模型性能。

七、不足与展望

作者在讨论部分指出,该方法虽然并行学习亮度和色度特征,但两个分支之间缺乏有效的交互机制,引入现有的双流交互机制可能进一步提升性能。此外,该方法依赖有监督学习,受限于标注LEQA数据的有限性,未来可探索融入少样本或零样本学习策略以减轻对标注数据的依赖。作者还提出,该方法未来可扩展用于驱动低光图像增强,并在高动态范围(high dynamic range, HDR)图像质量评估领域进行探索。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com