本文旨在介绍由 Xinkui Mei, Xiufen Ye（通讯作者）， Xiaofeng Zhang, Yusong Liu, Junting Wang, Jun Hou 和 Xuli Wang 共同完成的研究工作。该研究的核心成果是提出了一种名为 UIR-Net（Underwater Image Restoration and Enhancement Network）的新型网络架构，用于同时完成水下图像的复原与增强任务。这项研究发表于学术期刊《Remote Sensing》2023年第15卷第1期。

学术背景与研究动机

研究领域属于计算机视觉与图像处理，具体聚焦于水下光学图像的复原与增强。水下图像对于海洋生物学、考古学、渔业资源调查及水下目标检测等应用至关重要。然而，由于水体独特的物理和化学特性，光在水下传播时会发生严重的散射和吸收，导致直接获取的水下图像通常存在颜色失真、对比度低、细节模糊以及大量由悬浮颗粒（如浮游生物、沉积物等，在图像中呈现为类似雪花或光斑的“海洋雪”杂质）造成的噪声污染。这些退化严重影响了从图像中有效提取信息的能力，限制了后续高级视觉任务（如目标检测、分割）的性能。

尽管在陆地图像处理领域已有大量基于物理模型或深度学习的图像增强与复原方法，但这些方法难以直接迁移应用于水下图像。主要原因在于：（1）水下成像模型与大气中成像模型存在本质差异；（2）缺乏高质量成对（即退化图像与对应清晰图像）的水下图像数据集用于训练深度学习模型。现有的一些基于生成对抗网络的方法，往往忽略了水下图像的光学特性，容易引入颜色偏差和伪影，且在参数规模和计算成本上较高，难以部署在计算资源受限的水下平台上。此外，大多数现有方法要么只关注图像增强（颜色校正），要么只关注图像复原（去除杂质），缺乏一个能同时高效处理这两个任务的统一框架。因此，本研究的目标是开发一个简单、有效且轻量化的基准网络，能够同时恢复因海洋雪等杂质而退化的图像并对其进行颜色增强，以适用于实际的水下应用场景。

研究方法与详细流程

本研究的工作流程主要包括三个核心部分：1) 提出UIR-Net网络架构；2) 构建用于训练和评估的合成数据集；3) 设计并执行详尽的实验以验证网络性能。

1. 网络架构设计 (UIR-Net)

UIR-Net的灵感来源于DGUNet，整体遵循U-Net的编码器-解码器结构。其创新之处在于巧妙地将通道残差先验（Channel Residual Prior, CRP）与梯度策略（Gradient Strategy）相结合，以实现端到端的自监督学习。研究者将图像增强（从退化域到清晰域）和复原（从含杂质域到无杂质域）视为两个域到域的转换问题。

• 通道残差先验模块： 受何恺明暗通道去雾算法的启发，作者观察到，对于大多数无杂质的水下图像，任意像素的R、G、B通道中至少有一个通道的值非常低。基于这一统计规律，他们提出了通道残差先验。该先验通过计算图像每个像素点三通道最大值与最小值之差来生成一个先验图。这个先验图不含海洋雪斑点或气泡，能够提供图像背景结构信息，从而指导网络更有效地分离和去除前景杂质，同时保留图像的空间纹理和内容风格。
• 梯度策略模块： 为了处理真实水下场景中未知且复杂的退化过程，并降低网络复杂度，研究者引入了一种基于梯度策略的更新方案。该方案将传统的近端梯度下降算法（Proximal Gradient Descent, PGD）展开（unfold）并结合到深度网络中。具体来说，它将梯度下降过程中的退化矩阵和近端映射用深度神经网络替代，并将步长设置为可学习参数。这种设计赋予了模型处理未知退化的灵活性，同时通过迭代优化过程，能以较少的参数实现高效的图像恢复。
• 损失函数： 网络训练采用了组合损失函数，包括感知损失和边缘损失。感知损失利用预训练的VGG-19网络提取的特征图来衡量生成图像与目标图像在高层语义上的差异，有助于保留图像的细节和语义信息。边缘损失则基于拉普拉斯算子，旨在保持图像的边缘结构清晰度。最终损失是这两者的加权和，其中感知损失的权重λ_perceptual通过消融实验确定为0.01。

2. 数据集构建

为了解决水下图像训练数据匮乏的问题，本研究构建了两个新的合成数据集： * 海洋斑点杂质移除基准数据集（Marine Spot Impurity Removal Benchmarking dataset, MSIRB）： 该数据集在MSRB数据集基础上进行场景扩展而成，包含合成的水下光斑图像、对应的真实图像以及光斑掩膜。MSIRB专注于图像复原任务，即去除图像中的杂质斑点。 * 带“雪”的水下图像增强基准数据集（UIEBD-Snow）： 该数据集基于现有的水下图像增强基准数据集（UIEBD），通过将真实的海洋雪粒子形态特征融合到UIEBD的图像中而创建。它包含890对图像，旨在同时评估模型在去除杂质和进行颜色校正（增强）两方面的综合能力。

此外，研究还使用了已有的海洋雪移除基准数据集（Marine Snow Removal Benchmarking dataset, MSRB） 进行对比实验。这三个数据集（MSRB, MSIRB, UIEBD-Snow）共同为水下图像复原和增强任务提供了全面的测试平台。

3. 实验设计与评估

研究进行了详尽的实验来验证UIR-Net的有效性，并与多种最先进的（state-of-the-art）方法进行了比较。 * 实验设置： UIR-Net采用端到端训练，使用Adam优化器，学习率初始化为2×10^-4，并采用预热策略。图像块随机裁剪为256×256，批量大小为16，迭代40万次。训练在NVIDIA 3090 GPU上完成，耗时约4小时。 * 评估指标： 采用了全面的评估体系。全参考指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）和均方根误差（RMSE），用于衡量复原/增强图像与真实清晰图像之间的像素级和结构相似度。无参考指标包括水下图像质量评价指数（UCIQE）和水下图像质量度量（UIQM），用于在没有参考图像的情况下评估处理后图像的质量，更符合人类视觉感知。 * 对比方法： * 水下图像复原对比： 与多种自然图像复原方法对比，包括AIRNet、DB-ResNet、PReNet、DGUNet、MAXIM、Restormer和MPRNet。 * 水下图像增强对比： 与专门的水下图像增强方法对比，包括PUIE、CWR、IFM和FUnIE-GAN。 * 消融实验： 研究通过系统的消融实验验证了所提模块的有效性。实验分别测试了仅使用梯度策略、仅使用通道残差先验以及两者结合的效果。结果表明，结合两者能取得最佳性能。此外，也通过实验确定了感知损失权重λ_perceptual的最佳值为0.01。

主要实验结果

实验结果显示，UIR-Net在多个数据集和任务上均展现出优异性能。 1. 在MSRB数据集（海洋雪去除）上： UIR-Net在SSIM、RMSE和UCIQE指标上达到了最佳值，在PSNR和UIQM上位列第二。可视化结果清晰显示，UIR-Net能够有效去除图像中的大颗粒海洋雪杂质，同时很好地保留了物体的边界和细节纹理。相比之下，一些方法（如PReNet）虽然去除了雪花，但会在原位置留下暗斑；另一些方法（如Restormer）则对大型颗粒的去除效果不佳。 2. 在MSIRB数据集（海洋光斑去除）上： UIR-Net在PSNR、SSIM和RMSE三个核心全参考指标上均取得了最佳结果，在UIQM和UCIQE上也接近最佳。这表明UIR-Net在去除不同类型的光斑杂质方面具有强大能力。 3. 在UIEBD-Snow数据集（复原与增强联合任务）上： UIR-Net在PSNR、SSIM和RMSE上表现最佳。特别值得注意的是，虽然FUnIE-GAN在颜色校正上可能显得更鲜艳（UIQM较高），但它只能进行图像增强，无法去除光斑杂质。而UIR-Net是首个能够同时完成这两个任务的网络，其输出结果在颜色自然度和纹理清晰度之间取得了良好平衡。 4. 复杂度与效率： 在模型复杂度方面，UIR-Net展现出显著优势。其浮点运算次数（FLOPs）仅为MPRNet的约十分之一，参数总量（Params）与MPRNet相近，但训练时间和推理速度远快于MPRNet和DGUNet。例如，在相同设置下，UIR-Net的训练时间仅为22,000秒，远低于MPRNet的41,400秒和DGUNet的94,600秒。这证明了UIR-Net的轻量化特性，对于实际部署具有重要意义。

研究结论与价值

本研究的结论是，成功提出了一种名为UIR-Net的简单而有效的基准网络，它首次将水下图像复原与增强任务集成在一个统一的框架内。通过引入通道残差先验和基于近端梯度下降的梯度策略，UIR-Net能够有效处理由大型海洋颗粒杂质和海洋光斑造成的图像退化，并在进行颜色校正的同时，保持图像内容的风格和空间纹理。在MSRB、MSIRB和UIEBD-Snow三个数据集上的大量实验证明，UIR-Net在取得与其他先进方法相当甚至更高的图像质量的同时，具有更低的计算复杂度和更快的训练速度。

这项研究的价值体现在多个层面： * 科学价值： 提出了一种新颖的、结合了先验知识与可学习梯度优化的网络架构，为水下图像处理领域提供了新的思路。构建的MSIRB和UIEBD-Snow数据集填补了相关研究领域公开数据集的空白，有助于推动该领域的发展。 * 应用价值： UIR-Net的轻量化特性使其非常适合部署在计算资源有限的实际水下平台（如自主水下航行器AUV、遥控潜水器ROV）上，能够实时或近实时地提供清晰、高质量的水下视觉信息，从而直接服务于海洋勘探、环境监测、水下工程和国防安全等重大应用需求。

研究亮点

1. 首个联合网络： UIR-Net是第一个明确提出并实现同时进行水下图像复原（去杂质）和增强（颜色校正）的端到端网络，具有开创性意义。
2. 高效轻量化设计： 通过创新的通道残差先验和梯度策略，在保证高性能的同时，大幅降低了模型的参数量和计算开销，实现了高效与轻量化的平衡。
3. 构建新数据集： 研究构建了MSIRB和UIEBD-Snow两个新的合成数据集，为水下图像复原与增强的联合研究提供了重要的基准测试工具。
4. 全面的性能验证： 研究通过在多个人工合成和模拟真实场景的数据集上进行定量与定性评估，并与众多前沿方法进行广泛对比，充分证明了UIR-Net的优越性和鲁棒性。特别是其在不同类型杂质去除和颜色恢复方面的综合能力得到了验证。

其他有价值内容

研究中对现有方法进行了深入分析，指出了基于GAN的方法可能引入颜色偏差和伪影、CNN网络参数量大难以轻量化部署、以及现有算法将复原与增强任务割裂等关键问题，这为本研究的立项提供了清晰的逻辑起点。此外，论文对对比方法的原理和局限性进行了简要评述，有助于读者理解领域内技术发展的脉络。