基于照度图引导的低照度图像增强网络的学术研究报告

作者及发表信息

本研究的通讯作者为杨勇（1976—），博士，教授，博士生导师，CCF杰出会员，来自天津工业大学计算机科学与技术学院；第一作者为黄淑英（1977—），博士，教授，硕士生导师，CCF会员，来自天津工业大学软件学院；其他合作者包括黎为（1998—）、万伟国（1991—）和赖厚增（1995—），分别来自江西财经大学软件与物联网工程学院和天津工业大学。该研究发表于《Journal of Computer-Aided Design & Computer Graphics》（计算机辅助设计与图形学学报）2024年第1期（Vol.36, No.1）。

学术背景

低照度图像增强是计算机视觉领域的重要研究方向，广泛应用于自动驾驶、视频监控、医学影像等领域。由于光照不均匀，低照度图像通常存在能见度差、对比度低、颜色失真等问题。现有的增强方法（如基于直方图均衡化、Retinex理论或深度学习的方法）往往存在过增强或欠增强现象，影响后续高级视觉任务（如目标检测）。

本研究的目标是提出一种基于照度图引导的低照度图像增强网络（Low-light Image Enhancement Network Guided by Illuminance Map），通过构建照度图（Illuminance Map）指导网络对不同亮度区域进行差异化增强，并结合数据增强策略和直方图损失函数（Histogram Loss Function），提升增强效果的自然性和鲁棒性。

研究流程与方法

1. 照度引导图的构建

研究团队首先提出了一种照度引导图生成方法，用于量化低照度图像不同区域的明暗程度。具体步骤如下：
1. 将输入的低照度图像 ( L ) 的 RGB 通道归一化至 ([0,1]) 范围。
2. 对每个像素点，取 R、G、B 三通道的最大值，并进行反色变换，得到照度图 ( G )：
[ G = 1 - \max_{c \in {R,G,B}} L_c ] 该公式确保较暗区域在照度图中呈现较高亮度（即增强力度更大），而较亮区域则对应较低的增强力度。

2. 多尺度注意力 U-Net 网络结构

研究团队设计了一种多尺度注意力 U-Net（Multi-scale Attention U-Net），其核心结构包括：
- 编码器部分：包含 1 个卷积层和 4 个多尺度特征提取层，每层由卷积块和通道注意力残差模块（Channel Attention Residual Block, CARB）组成。
- 解码器部分：与编码器对称，通过跳转连接（Skip Connection）复用浅层特征。
- 通道注意力残差模块：通过全局平均池化（Global Average Pooling）和 1×1 卷积计算通道注意力权重，调整特征图的重要性。

网络的输入为低照度图像与照度图的拼接结果，输出为增强后的图像。

3. 数据增强策略

为解决训练数据不足的问题，研究团队提出两种数据增强方法：
1. 概率旋转增强（Probability Rotation Enhancement）：对训练图像随机应用 8 种旋转和翻转操作（如 90° 旋转、水平翻转等），增加样本多样性。
2. 内循环增强（Inner-loop Enhancement）：在训练过程中，将第 3 和第 6 个训练周期生成的增强图像加入训练集，进一步提升数据多样性。

4. 损失函数设计

研究团队提出了一种多元联合损失函数，包含以下三个部分：
1. 均方误差损失（MSE Loss）：衡量增强图像与真实图像之间的像素差异。
2. 边缘损失（Edge Loss）：通过拉普拉斯算子（Laplacian Operator）约束高频细节的恢复。
3. 直方图损失（Histogram Loss）：基于直方图匹配（Histogram Matching）思想，确保增强图像的灰度分布接近真实图像。

最终损失函数为：
[ L = \alpha L{\text{MSE}} + \beta L{\text{Edge}} + \lambda L_{\text{Hist}} ] 其中，权重系数 (\alpha=5)、(\beta=3)、(\lambda=2.5 \times 10^{-6})。

实验结果

1. 合成数据集（LOL）测试

在 LOL 数据集上的实验表明，本文方法在 PSNR（峰值信噪比） 和 SSIM（结构相似性） 指标上分别达到 26.687 dB 和 0.889，优于对比方法（如 RetinexNet、EnlightenGAN 等）。具体数据如下：

| 方法 | PSNR (dB) | SSIM | LOE（亮度循环误差） |
|—————|———–|——–|———————|
| RetinexNet | 18.782 | 0.561 | 2201.662 |
| EnlightenGAN | 22.447 | 0.716 | 1251.696 |
| 本文方法 | 26.687| 0.889| 721.867 |

2. 真实场景测试

在真实低照度图像上，本文方法能够有效抑制噪声并恢复细节。例如，在夜间道路场景中，该方法成功检测出低照度条件下原本不可见的行人、自行车等目标，目标检测率提升 10.17%~17.19%。

3. 消融实验

• 引导图与直方图损失的贡献：去除引导图后，PSNR 下降至 22.806 dB；仅去除直方图损失时，PSNR 为 26.381 dB，证明两者均对性能提升至关重要。
  
• 数据增强的效果：使用数据增强策略后，网络训练稳定性显著提高，PSNR 随迭代次数持续上升，而未使用数据增强的网络在 100 次迭代后出现过拟合。
  

结论与价值

本研究提出了一种创新的低照度图像增强方法，其核心贡献包括：
1. 照度图引导机制：通过量化图像局部亮度差异，实现自适应增强，避免过增强或欠增强问题。
2. 多尺度注意力 U-Net：结合通道注意力残差模块，提升特征提取能力。
3. 数据增强与直方图损失：解决了小样本训练问题，并优化了全局亮度分布。

该方法在合成数据和真实场景中均表现出色，不仅提升了图像质量，还为后续计算机视觉任务（如目标检测）提供了可靠支持。

研究亮点

1. 引导图创新：首次将反色变换应用于照度图构建，直观反映增强力度需求。
   
2. 联合损失函数：结合边缘、像素和直方图约束，全面优化增强效果。
   
3. 实际应用价值：在自动驾驶、安防监控等领域具有直接应用潜力。
   

其他价值

本研究还开源了基于 Raise 数据集合成的 1,800 对低光/正常光图像，为后续研究提供了宝贵资源。