这是一篇发表于 IEEE Transactions on Multimedia（2024年，第26卷，第3430至3443页）的原创性研究论文。论文的通讯作者为香港城市大学计算机科学系的 Shiqi Wang，第一作者 Baoliang Chen 与 Lingyu Zhu 为共同第一作者，其他作者包括 Hanwei Zhu、Linqi Song（均来自香港城市大学）以及来自鹏城实验室的 Wenhan Yang。该研究于2023年4月13日投稿，2023年8月17日被接收，并于2023年9月7日在线发表。
低光图像增强是计算机视觉与多媒体处理领域的重要研究方向。在光照不足条件下拍摄的图像常出现可见度低、颜色失真、噪声放大等问题。传统的低光增强方法，如直方图均衡（Histogram Equalization, HE）和基于Retinex理论的方法，虽然可以在一定程度上提升亮度，但容易放大噪声或产生不自然的视觉效果。近年来，基于深度学习的方法虽然取得了显著进展，但大多数全监督（Fully-supervised）低光增强模型在训练时缺乏与人类视觉感知高度一致的客观质量评价模型（Image Quality Assessment, IQA）作为指导。由于已有的无参考图像质量评价（Blind Image Quality Assessment, BIQA）方法通常面向合成失真或自然场景图像，并不完全适用于低光增强后图像特有的复杂失真（如偏色、残余噪声、过曝、细节丢失、伪影放大等），导致增强模型无法稳定地朝感知最优方向优化。
针对这一空缺，作者提出了一个“弥合差距”（gap-closing）的框架，旨在实现主观质量评价、客观质量评价与低光图像增强优化之间的有效衔接。研究的主要目标包括三方面：第一，构建一个大规模、面向低光增强图像的主观质量评价数据库；第二，开发一个专用的盲图像质量评价模型；第三，将该质量评价模型嵌入到增强网络的优化过程中，验证其在提升感知质量方面的有效性。
该研究首先构建了一个名为 SQUARE-LOL（Subjective Quality Assessment of Reconstructed Low-light images）的大规模数据库。该数据库以公开的 LOL（Low-Light）数据库为基础，从中选取了290张低光图像，其中247张来自LOL训练集，43张来自测试集。针对每一张低光图像，作者使用了10种经典或先进的低光增强方法进行增强，包括传统方法如相机响应模型（CRM）、联合增强与去噪方法（JED）、多尺度Retinex（MR）、同时反射与光照估计（SRIE）、多融合方法（MF），以及深度学习方法如深度Retinex分解（DRD）、ZeroDCE、EnlightenGAN、自监督方法和深度递归带网络（DRBN）。最终数据库包含2,900张增强图像，并生成了13,050对成对比较（Pairwise Comparison）数据。
该数据库的主观测试采用两择强制选择（Two-Alternative Forced Choice, 2AFC）方法。每位受试者在每次试验中比较同一低光图像经两种不同方法增强后的两幅结果，并选择视觉质量更好的一张。共有30名受试者参与主观实验，实验使用分辨率为1920×1080的LCD显示器，并按ITU-R BT.500建议进行校准。每张增强图像最终获得270票（9个对比对象×30名受试者），其主观意见分数（Opinion Score）定义为被选择次数与总票数的比值。实验结果表明，EnlightenGAN增强的图像在示例场景中获得了197票，意见分数为0.7296，在十种方法中表现最高，反映了其较优的感知质量。同时，数据库中的意见分数分布显示，大多数增强图像的得分未达到0.8以上，说明现有方法在多样化内容上仍缺乏足够泛化能力。
基于SQUARE-LOL数据库，作者进一步提出了一种名为 IACA（Illumination Aware and Content Adaptive）的盲图像质量评价模型。该模型以ResNeXt-32×8d作为特征提取骨干网络。ResNeXt在ImageNet上预训练用于物体分类，具有较强的特征判别能力，但其训练数据通常是正常光照图像，对低光增强图像的亮度信息不敏感。为此，IACA引入了两个关键设计。
第一是光照调制（Illumination Modulation）模块。该模块首先利用Max-RGB策略估计输入图像的亮度图，即在每个R、G、B通道中取最大像素值，得到代表场景照明的亮度图。然后，通过最大池化将该亮度图缩放到与骨干网络不同层级特征图相同的空间尺寸，再经过三个卷积层提取光照感知特征，并与原始图像特征图融合。这样，光照信息被显式地引入到特征学习中，弥补了通用预训练模型对低光场景亮度变化不敏感的不足。
第二是内容自适应（Content Adaptation）模块。该模块从ResNeXt的第四层（conv4）和第五层（conv5）分别提取特征，并通过全局平均池化（mean pooling）和标准差池化（std pooling）得到四组聚合特征。其中，平均池化特征与高层语义信息高度相关，直接用于回归容易导致模型对训练集场景的过拟合。因此，作者将这些平均池化特征通过全连接层与Sigmoid激活函数生成注意力图，再利用该注意力图对标准差池化特征进行加权，从而实现对不同图像内容的自适应特征聚合。最终，加权后的多尺度特征被编码并输入全连接层进行质量分数回归。
在模型训练中，数据库按照图像内容划分为2,470张训练图像和430张测试图像，保证与LOL数据库的划分一致，避免内容重叠。训练时随机裁剪224×224的图像块，使用Adam优化器，初始学习率为1×10⁻⁴，训练100个轮次。模型采用“norm-in-norm”损失进行回归，并在多尺度特征上均施加损失以加快收敛。评价指标采用斯皮尔曼等级相关系数（SROCC）和皮尔逊线性相关系数（PLCC）。实验结果显示，IACA在SQUARE-LOL上的SROCC达到0.875，PLCC达到0.898，显著优于NIQE、BRISQUE、CORNIA、HOSA等手工特征方法，以及Bilinear、WaDIQaM-NR、MetaIQA和norm-in-norm等深度学习方法。其中，norm-in-norm虽然采用相同骨干网络但仅使用平均池化，缺乏内容自适应机制，性能明显低于IACA，进一步验证了所提模块的有效性。
消融实验表明，去掉多尺度特征学习会降低模型处理复杂失真的能力；去除光照调制模块会使SROCC从0.875下降至0.866；而仅使用平均池化或标准差池化均无法达到最优效果。这些结果证明了光照感知和内容自适应设计对低光增强图像质量预测的重要性。
在完成质量评价模型后，研究将IACA嵌入到低光图像增强网络的训练损失函数中，实现从质量评价到增强优化的反向桥接。优化框架遵循最大后验概率（Maximum A Posteriori, MAP）思想，将损失函数定义为保真项与先验项的组合。其中，保真项采用结构相似性指数（SSIM）作为全参考质量度量，以保证增强结果在信号层面接近参考图像；先验项则由IACA模型构成，以引导增强网络在感知质量上向最优方向优化。具体损失函数为：
[ L=\phi_f(x_r, N(x;w))+\lambda \phi_q(N(x;w)) ]
其中，(N)为增强网络，(w)为网络参数，(x)为输入低光图像，(x_r)为参考图像，(\phi_f)为基于SSIM的保真损失，(\phiq)为质量损失，定义为(|q{max}-IACA(N(x;w))|)，其中(q_{max})为IACA在训练集上的最高质量分数，(\lambda)为超参数，用于调节质量项的相对权重。
实验中，作者采用SRCNN和DRBN两种增强网络架构进行验证。SRCNN原用于超分辨率任务，DRBN则是低光增强领域的前沿模型。实验保持网络架构不变，仅将原始损失函数替换为上述质量感知损失。对于SRCNN，(\lambda)设为5×10⁻³；对于DRBN，(\lambda)设为1×10⁻³。训练时随机裁剪256×256的图像块，共训练200个轮次，初始学习率为1×10⁻⁴。
在增强优化实验中，作者对SRCNN和DRBN的原始模型与优化后模型进行了视觉比较。结果表明，原始SRCNN增强图像偏暗且对比度较低，而经过IACA优化的结果在亮度和对比度上均有所改善；原始DRBN倾向于过度平滑，优化后则能更好地保留细节。通过IACA模型对优化前后图像质量分数进行预测，发现94%的SRCNN优化图像和86%的DRBN优化图像获得了更高的质量分数。此外，作者还进行了主观测试，12名受试者对优化结果与原始结果进行成对比较，整体上，SRCNN优化图像在70%的比较中被优先选择，DRBN优化图像在62%的比较中被优先选择。在个体受试者层面，超过90%的受试者（SRCNN）和83%的受试者（DRBN）更偏好优化后的图像。
为了验证IACA模型对不同网络架构的泛化能力，作者还将其应用于MIRNet V2和BasicSR-RCAN架构。结果显示，优化后的图像在对比度、过曝抑制和亮度提升方面均有明显改善。此外，与另一种广泛使用的深度BIQA模型Bilinear相比，IACA在优化低光增强模型时能够更好地处理光源区域和阴影伪影，表现出更高的实用性。
本研究提出了一个完整的“质量评价-增强优化”闭环框架，从构建专用数据库、设计专用BIQA模型到嵌入增强模型优化，系统地弥合了低光图像增强中视觉质量评价与算法优化之间的差距。该研究的科学价值在于揭示了低光增强图像独特的失真特性，并通过大规模主观实验和深度特征学习方法建立了更可靠的感知质量预测模型。其应用价值在于，所提出的IACA模型和优化策略可以直接用于现有低光增强网络的训练与改进，提升增强图像的主观视觉质量。论文还指出，未来可以进一步构建由质量评价驱动的增强图像闭环优化系统，并探索不同图像内容对质量感知的影响，为今后低光增强与图像质量评价的交叉研究提供了新的方向。