分享自:

盲PSNR:一种用于低光图像增强的无参考保真度预测器

期刊:IEEE Signal Processing Letters

本文提出了一种用于低光图像增强的无参考保真度预测方法 BlindPSNR,旨在解决增强候选图像自动选择问题。研究团队由南方科技大学深圳机器人学与计算机视觉重点实验室的 Mingzhe Lyu、Hong Zhang 以及鹏城实验室的 Jinqiang Cui 组成,通讯作者为 Hong Zhang。论文发表于 IEEE Signal Processing Letters,第 XX 卷第 XX 期,2026 年。代码已在 GitHub 上公开。

从学术背景来看,低光图像增强是许多下游视觉任务的关键预处理步骤,如目标检测、语义分割和自动驾驶感知。现有低光增强方法通常包含多个可调参数,例如 LIME 的光照图权重、Zero-DCE 的曲线迭代次数、以及传统流程中的伽马值与去噪强度。当场景内容或光照条件变化时,固定参数容易导致过度增强、色彩失真或噪声放大。实际应用中往往需要生成多个候选增强结果并人工选择最佳输出,这种方式耗时且难以扩展到实时或批处理场景。峰值信噪比(PSNR)是最常用的信号保真度指标,但计算 PSNR 需要参考图像,而真实部署中通常无法获得。无参考图像质量评估(NR-IQA)看似可以替代,但现有 NR-IQA 方法主要预测感知质量,而不是信号保真度。本文在基准测试中发现,七种代表性 NR-IQA 方法对候选增强图像的选择准确率均为 0%,部分方法甚至与 PSNR 呈负相关。因此,本文的研究目标是在无需参考图像的情况下直接预测低光增强图像的 PSNR,从而实现自动候选选择。

在方法设计上,BlindPSNR 利用成对训练数据中可解析计算的全局对数均方误差(log-MSE)作为监督信号,不需要单独的教师网络。模型采用双输入结构,输入包括增强图像 E 和低光输入 L。低光输入提供场景结构信息,帮助网络区分真实细节与增强算法引入的伪影。两个输入通过共享的 ConvNeXt-tiny 主干网络提取多尺度特征,步长分别为 8、16、32。为了捕捉密集误差的空间局部对齐关系,模型引入了窗口化交叉注意力机制,在非重叠窗口内计算增强特征与低光特征之间的注意力。窗口大小随步长缩小,分别设为 8、4、2。融合后的特征通过特征金字塔网络(FPN)解码器生成多尺度特征图,全局平均池化后输入全局得分头,得到对数 MSE 预测值,最终转换为 PSNR 预测。此外还增加了置信度头用于异方差回归,以建模输入相关的不确定性。训练目标由两项损失组成:异方差回归损失和 smooth-L1 全局蒸馏损失,两者共享同一解析目标,但在样本加权方式上互补。

在实验设置方面,训练语料来自多个数据源,共包含 2,423 张图像和 145,788 个候选增强结果。数据源包括 RealX3D 和 LOM 的多视角校准真实场景,每张图像由五种增强方法族生成约 230 个候选;LOL-v1、LOL-v2-real 和 LOL-v2-syn 的训练集,每张图像由三种传统方法生成约 34 个候选;以及 MIP-NeRF-360 的五个室内场景,使用色调曲线候选。评估集分为场景未见、划分未见和域未见三个层次。主要评估指标包括 Top-k 准确率、遗憾值(regret)和 SRCC。其中 Top-1 准确率用于判断模型选择的第一候选是否在真实 PSNR 上与最优候选相差不超过 0.1 dB,遗憾值表示模型所选候选与最优候选之间的 PSNR 差距。

实验结果显示,在 RealX3D 保留测试集上,七种 NR-IQA 基线方法的 Top-1 准确率均为 0%,其中最佳方法 MUSIQ 的 SRCC 仅为 0.44,遗憾值为 5.9 dB。三种经典方法 NIQE、BRISQUE、PIQE 的 SRCC 为负,系统性地偏好低保真输出。相比之下,BlindPSNR 的 SRCC 达到 0.960,Top-1 准确率为 89.5%,Top-5 准确率为 100%,平均遗憾值仅为 0.026 dB,在 57 个场景组中有 51 组所选候选与最优候选的 PSNR 差距在 0.1 dB 以内。在消融实验中,去除低光交叉注意输入导致 Top-1 下降 29.9 个百分点,从 89.5% 降至 59.6%,遗憾值从 0.026 dB 增至 0.41 dB,说明低光输入是最大单一贡献因素。去除 smooth-L1 蒸馏损失导致 Top-1 降至 78.9%,说明该损失项与异方差回归形成互补。仅保留标量回归基线时,虽然 SRCC 高达 0.923,但 Top-1 仅为 54.4%,表明高排序相关并不保证选择能力。在跨数据集泛化测试中,BlindPSNR 在 LOL-v2-real 上 Top-1 为 21.0%,在 LSRW 上为 38.0%,在 MIP-NeRF-360 上为 12.5%,SRCC 在 0.61 至 0.67 之间。该结果表明模型对训练中未见的域仍具有一定泛化能力,但性能相对保留集明显下降。在单一增强方法族内的参数变体排序测试中,BlindPSNR 对所有五个方法族均取得 89.5% 以上的 Top-1 准确率和不超过 0.04 dB 的遗憾值,说明模型不仅能够区分类间方法差异,也能捕捉同一方法内部参数级别的质量差异。

本研究的结论是,现有 NR-IQA 与基于 PSNR 的候选选择之间存在严重的不对齐,而 BlindPSNR 通过解析 log-MSE 目标上的双损失监督与低光交叉注意融合,填补了这一空白。在场景未见数据上,BlindPSNR 实现了接近最优的选择效果,可作为低光图像增强中候选选择和超参数调优的无参考近似工具。其科学价值在于首次证明了无参考 PSNR 预测在低光增强场景中的可行性,并揭示了 NR-IQA 与信号保真度之间存在系统性偏差。其应用价值在于为实际部署提供了一种无需参考图像的自动化选择方案,可减少人工检查成本并支持批处理或实时场景。研究亮点包括:提出了基于窗口化交叉注意力的双输入融合方式;利用解析全局 log-MSE 目标进行精确监督,避免额外的教师网络;发现了低光输入与蒸馏损失对 Top-1 选择准确率的关键作用;并在七种 NR-IQA 基线全部失效的基准上实现了近 90% 的选择准确率。该方法也存在一定局限,主要表现为跨域泛化性能有限,在未见数据集上 Top-1 准确率显著下降,未来可通过增加训练数据多样性和使用更强泛化能力的预训练骨干网络来改善。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com