针对水下低光偏振图像增强的双分支自编码器网络：一项全面研究
一、 研究团队与发表信息
本研究由厦门大学水下声通信与海洋信息技术教育部重点实验室的研究团队完成。主要作者包括Chang Xue（薛昶）， Qingyu Liu（刘庆宇）， Yifan Huang（黄一帆）， En Cheng（程恩）和Fei Yuan（袁飞，通讯作者）。该研究成果以研究论文（Article）的形式发表在开源期刊 *Remote Sensing*（ISSN 2072-4292）上，于2024年3月24日正式在线发表，卷期为第16卷第7期，文章编号为1134。论文标题为“A Dual-Branch Autoencoder Network for Underwater Low-Light Polarized Image Enhancement”。
二、 学术背景与研究动机
本研究属于水下光学成像与计算机视觉的交叉领域，具体聚焦于偏振成像（Polarization Imaging） 和低光图像增强（Low-Light Image Enhancement）。水下探测在考古、基建巡检、海洋生物研究等领域至关重要，但常面临光照不足的挑战。传统强度（光强）图像在低光条件下信噪比急剧下降，细节被噪声淹没。偏振成像，受螳螂虾视觉启发，能够记录物体表面的偏振信息（如形状、粗糙度、曲率），即使在低光或低对比度环境下也能提供丰富的目标细节，如图1所示的偏振度（Degree of Linear Polarization, DoLP）图像所示。
然而，偏振图像的获取过程（通过不同角度的偏振强度测量值非线性计算斯托克斯（Stokes）参数）使其对噪声极为敏感。低光条件下，不仅整体亮度低，复杂的噪声还会严重降低偏振图像质量，进而影响后续高级视觉任务（如目标检测、分割）的性能。现有的低光图像增强方法大多针对强度图像设计，将其直接迁移到偏振图像上效果不佳，主要原因有二：1) 偏振图像的噪声分布更复杂；2) 现有方法独立处理多个偏振图像，破坏了它们之间固有的物理约束关系，导致增强后计算偏振参数时产生严重退化。
此前，虽有少数针对偏振图像的研究（如Hu等人提出的IPLNet和在斯托克斯域处理的方法），但仍存在不足：前者主要在强度域处理，后者直接放大亮度会进一步放大噪声，且未充分利用不同斯托克斯参数的物理特性。此外，公开可用的水下偏振图像数据集的缺失，严重制约了数据驱动方法的发展。
因此，本研究旨在解决水下低光偏振图像增强的难题。研究目标包括：1）提出一种基于偏振参数对抗特性的低光图像增强新范式；2）设计一个专门针对偏振图像特性的双分支网络，在提升亮度的同时有效抑制噪声并恢复细节；3）构建一个仿真的水下低光偏振图像数据集以驱动网络训练；4）通过真实世界实验验证方法的有效性和优越性。
三、 研究方法与详细流程
本研究主要包括三大核心部分：提出新的增强范式、设计双分支网络、构建与使用数据集。整体工作流程遵循“问题分析 -> 模型/算法设计 -> 数据合成 -> 网络训练 -> 实验验证”的逻辑。
1. 增强范式：基于斯托克斯域与物理特性的双路径处理 受前人工作启发，本研究选择在斯托克斯域（Stokes Domain）而非强度域解决问题，因为分析表明低光条件下斯托克斯参数的退化程度小于偏振强度测量值。通过对大量真实水下偏振图像的观察，作者发现斯托克斯参数（s0, s1, s2）具有不同的物理特性：s0（总光强）受噪声影响较小，退化模式类似普通强度图像；而s1和s2（描述线偏振光差异）虽然整体受噪声影响严重，但其边缘轮廓受噪声影响较小，这源于s1和s2计算时的差分对抗机制（图4）。基于此观察，作者提出了一种新的增强范式：使用两个独立的分支网络分别处理s0和（s1, s2）。亮度调整网络专注于提升s0的亮度；细节增强网络则利用s1和s2的对抗关系，专注于增强其边缘和结构细节。然后，利用从亮度调整网络学到的亮度调整曲线，自适应地调整由细节增强网络输出的增强后s1和s2的亮度，从而避免直接放大亮度带来的噪声放大问题。最后，通过引入偏振损失函数（Polarization Loss） 来约束网络保持各偏振参数间的物理关系。
2. 网络架构：双分支自编码器网络 网络整体为双分支结构，对应于上述范式。 * 亮度调整网络：基于Retinex理论设计，包含三个模块：层分解网络（Layer Decomposition Net, LD）、反射率恢复网络（Reflectance Restoration Net, RR）和照度调整网络（Illumination Adjustment Net, IA）。LD将输入的低光s0图像分解为反射率图（本征属性）和照度图（光照条件），并设计了一系列损失函数（重建损失、反射率一致性损失、照度平滑损失）来约束分解过程的合理性。RR负责恢复反射率图的细节。IA则负责调整照度图的亮度，最终输出增强后的s0图像（记为 s0̂_h）以及用于调整s1、s2亮度的“曲线”。 * 细节增强网络：专为处理噪声严重但边缘信息保留较好的s1和s2设计。其核心是一个新颖的梯度残差密集特征提取模块（Gradient Residual Dense feature extraction module, GRD）。该模块不仅通过卷积层提取输入图像的特征，还特别通过一个基于注意力机制的梯度残差密集块来提取s1和s2的梯度信息（边缘信息），从而能够提取富含细粒度细节的深层特征。网络主体（Backbone）采用编码器-解码器结构，包含下采样和上采样块，并嵌入密集连接块（DenseBlocks）以获取更全面的上下文信息，同时使用跳跃连接（Skip-connections）充分利用浅层特征。该网络的损失函数综合考虑了L1损失、L2损失、总变分损失（TV Loss）以提升平滑度、梯度损失（Grad Loss）以保持结构不变性，以及关键的偏振损失（Polar Loss）以确保输出的s1̂和s2̂能计算出高质量的DoLP图像。
3. 数据准备：仿真数据集构建与真实世界数据采集 由于缺乏公开的水下偏振图像数据集，作者构建了两套数据集： * 仿真数据集：为了驱动数据驱动的网络训练，作者设计了一个复杂的仿真流程。首先，基于改进的水下偏振成像模型，该模型考虑了水下环境中光的前向散射和后向散射对偏振的影响，并引入了依赖于水体光学特性（如衰减系数、散射系数）和相机响应函数（Camera Response Function, CRF）的传输系数。其次，选用Cityscapes-DBF数据集作为清晰场景和深度图的来源，并利用其提供的像素级语义分割标签，为同一语义类别的物体分配相似的偏振特性（pd，目标偏振度）。最后，通过模拟不同水体和光照条件，并结合从真实偏振相机标定得到的CRF来模拟低光照下的成像噪声，生成了包含低光/正常光配对的多角度偏振图像的大规模仿真数据集（共14,875组）。此流程确保了生成的配对数据在遵循物理约束关系的同时，覆盖了多样的水下退化场景。 * 真实世界数据集：为了验证算法的泛化性能，作者搭建了一套水下偏振成像系统。系统采用海康威视的DofP（分焦平面）单色偏振相机，配合由LED光源和线性偏振片组成的偏振态发生器（PSG），在一个水槽中进行实验。通过向清水中添加牛奶来模拟不同浑浊度的水下散射环境。通过改变相机曝光时间，获取了同一场景下低曝光（低光）和长曝光（作为地面真实值，Ground Truth）的像素对齐图像对。数据集包含了不同材料（金属、塑料、纸张等）的目标，共计300组数据，其中32组用于测试。
4. 训练与实验细节 网络使用仿真数据集进行训练，在真实世界数据集的测试集上进行评估。训练时，图像被裁剪为256x256大小并进行数据增强。使用PyTorch框架，Adam优化器，批量大小为8，训练400个epoch。实验在一张NVIDIA 3090Ti GPU上运行。
四、 主要实验结果与分析
作者在真实世界数据集上进行了全面的定性和定量分析，将所提方法与现有的低光增强方法和去噪方法进行了对比。
1. 与去噪方法的对比 选取了传统方法BM3D和基于学习的方法Noise2Noise。对比了两种策略：直接对DoLP图像去噪，以及对斯托克斯参数分别去噪后再计算DoLP。实验结果表明（图14），无论是BM3D还是Noise2Noise，第二种策略（分别处理s0, s1, s2）都产生了严重的伪影和结构破坏，这正说明了独立处理会破坏偏振约束关系的严重性。第一种策略（直接处理DoLP）虽然结构保持稍好，但去噪效果有限，无法有效恢复目标信息。这印证了低光偏振图像的噪声模型复杂，并非简单的加性高斯白噪声，传统假设的去噪方法难以适用。
2. 与低光增强方法的对比 选取了八种先进的强度域低光增强方法（Retinex-Net, MBNet, KinD, EnlightenGAN, DSLR, Zero-DCE, RUAS, SCI）以及一种偏振域方法Polar进行对比。 * 定性分析：对于偏振特性明显的金属目标（如硬币、尺子），结果显示（图15），多数强度域方法（如Retinex-Net, MBNet, EnlightenGAN）存在过度增强或结构失真问题。KinD方法较稳定但整体噪声依然严重。Zero-DCE, RUAS, SCI等方法整体结构保持较好，但在恢复图像细节（如尺子刻度）方面效果不佳。这归因于它们没有针对偏振参数的特性进行专门的细节提取。Polar方法在结构稳定性上表现良好，但在细节恢复和亮度调整上略逊于本文方法。本文方法在噪声抑制和亮度/细节恢复方面均取得了最佳视觉效果。 * 针对不同偏振材料目标的对比：在同一场景包含塑料和金属不同材质目标时（图16），强度域方法普遍引入了明显的半圆形伪影，或对不同材质目标的增强效果不平衡（如对金属硬币增强好，对塑料芯片边缘细节恢复差）。本文方法和Polar方法对不同材质的目标都表现出了更好的均衡性和细节恢复能力。 * 中间结果分析：作者进一步展示了亮度调整网络对s0参数的中间增强结果（图17）。对比发现，许多低光增强方法（如Retinex-Net, Zero-DCE）倾向于平衡整幅图像的光照分布，虽然视觉上更“均衡”，但破坏了原始场景固有的亮度分布关系，这种改变会干扰后续基于s0、s1、s2计算偏振信息的准确性。而本文的亮度调整网络更忠实于“地面真实值”所代表的、在充足光照下应有的亮度分布。
3. 消融实验（Ablation Study） 论文通过消融实验验证了所提各个组件的有效性，包括：双分支范式、GRD模块、偏振损失函数等。实验结果表明，移除任何一个关键组件都会导致性能下降。特别是，使用单分支网络同时处理所有斯托克斯参数，或者不使用偏振损失，都会导致最终DoLP图像质量显著降低，出现伪影或细节丢失，这直接证明了双分支设计和物理约束的重要性。
五、 研究结论与价值
本研究成功提出并实现了一种有效的针对水下低光偏振图像的增强方案。主要结论如下： 1. 提出新范式：首次提出了一种基于斯托克斯参数对抗特性的水下低光偏振图像增强范式。该范式通过在斯托克斯域进行双路径（亮度与细节）分离处理，并利用物理关系进行约束，有效避免了直接放大亮度导致的噪声放大问题，并能更好地恢复目标轮廓细节。 2. 开发新网络：设计了一种基于改进自编码器的双分支网络。其中，专门为边缘提取设计的GRD模块和偏振损失函数，是针对偏振图像特性所做的关键创新，有效提升了网络的性能。 3. 构建新数据集：提出了一套基于水下偏振成像模型和相机响应函数的仿真方法，构建了首个大规模、配对的水下低光偏振图像仿真数据集，为后续相关研究提供了数据基础。 4. 验证优越性：通过搭建真实水下偏振成像系统获取数据，并在其上验证了所提方法相对于现有先进方法的优越性。实验证明，该方法在提升亮度、抑制噪声和保持结构细节方面具有显著优势。
本研究的科学价值在于，将偏振成像的物理先验知识与深度学习的数据驱动能力相结合，为解决水下恶劣光照条件下的成像难题提供了一种新的、可解释性更强的思路。其应用价值直接体现在提升水下机器人视觉、水下探测与识别等实际任务的性能上。
六、 研究亮点