关于水下图像增强领域自适应方法的研究报告

一、 研究作者、机构与发表信息

本文题为《Domain Adaptation for Underwater Image Enhancement》，由Zhengyong Wang, Liquan Shen, Mai Xu (IEEE高级会员), Mei Yu, Kun Wang 以及 Yufei Lin 共同完成。作者团队来自上海大学、北京航空航天大学和宁波大学等多所中国知名高校。该研究作为一篇原创性学术论文，正式发表于IEEE旗下期刊《IEEE Transactions on Image Processing》2023年第32卷。论文于2021年8月25日收稿，历经多轮修订后，于2023年2月4日被接受，并于2023年2月17日在线发布。

二、 学术背景与研究目标

本研究的核心科学领域属于计算机视觉中的底层视觉任务，具体为水下图像增强。水下环境对成像质量造成严重退化，主要包括模糊、色彩失真（如典型的蓝绿色调）和低对比度。高质量的增强算法对于提升水下视觉感知、支持水下目标检测与识别等高层任务至关重要。

当前，基于深度学习的方法在水下图像增强领域展现出巨大潜力。然而，该领域面临两个关键挑战，这也构成了本研究的出发点： 1. 域间差距：由于获取真实水下场景的清晰“参考图像”极为困难，现有深度学习方法大多依赖于合成数据进行训练。但合成数据与真实数据之间存在显著的域间差距，导致在合成数据上训练出的模型难以泛化到复杂的真实水下场景。 2. 域内差距：真实水下环境本身复杂多变，受光照、水体类型、水深、季节天气等多种因素影响，导致不同真实水下图像之间的退化分布也存在巨大差异，即域内差距。几乎未有研究关注此问题，导致现有方法在面对多样化的真实图像时，常常产生不悦目的伪影和色彩失真。

基于此，本研究的目标是设计一个新颖的算法框架，能够同时最小化域间差距和域内差距，从而提升模型在多样化真实水下图像上的增强效果与泛化能力。

三、 研究工作的详细流程

本研究提出了一种名为 “两阶段水下域自适应网络” 的框架。整个工作流程结构清晰，分为两个主要阶段：域间自适应阶段和域内自适应阶段。

第一阶段：域间自适应

此阶段旨在缩小合成数据域与真实数据域之间的分布差异。为此，研究者设计了一个三重对齐网络，它由两个部分组成：一个用于提升输入图像真实感的翻译部分，以及一个面向任务的增强部分。网络通过联合对抗学习，在三个层面进行对齐：

1. 研究对象与数据：使用一个合成的训练数据集（遵循物理模型生成，包含9种水体类型，共7200对图像，记为train-s7200）和一个真实的训练数据集（从公开来源收集并精选，共2900张无标签图像，记为train-r2900）。所有图像统一缩放至256x256像素。

2. 核心方法与流程：

   • 图像级对齐：翻译部分接收合成图像及其对应的清晰参考图像，生成外观更接近真实数据的“翻译后图像”。一个图像级判别器被用来区分翻译后图像和真实水下图像，通过WGAN-GP对抗损失进行优化。
   • 特征级对齐：增强部分（一个编码器-解码器结构的网络）对翻译后图像和真实图像进行处理。一个特征级判别器被引入，作用于增强网络的编码器输出特征，旨在对齐合成域与真实域在特征空间的分布。
   • 输出级对齐：另一个判别器作用于增强部分的最终输出，旨在使合成图像的增强结果与真实图像的增强结果在输出分布上保持一致。
   • 协同训练与损失函数：除了上述三个对抗损失，翻译部分还引入了语义内容损失，以确保翻译过程不改变图像的语义内容；增强部分则使用有监督的任务损失（L1损失和感知损失）来保证对翻译后图像的增强质量。所有模块进行端到端的联合训练，总损失是上述各项损失的加权和。这种三重对齐机制使网络能够学习到跨域的不变性表示，从而有效桥接域间差距。

第二阶段：域内自适应

此阶段旨在处理真实水下图像内部的质量分布差异。其核心思路是“分而治之”：根据增强结果的感知质量，将真实图像分为“简单样本”和“困难样本”，然后利用简单样本的可靠增强结果作为伪标签，来指导对困难样本的增强。

1. 关键创新：基于排序的水下图像质量评估方法：为了准确评估增强图像的感知质量以进行分类，本研究首先自主研发了一个RU-IQA。该方法不依赖ImageNet等通用数据集预训练，而是通过“学习排序”来获取与水下图像感知质量密切相关的先验信息。其构建分为三步：首先，构建一个包含约800张图像、由多种算法增强、并经过志愿者主观评分的水下图像排序数据集；其次，利用该数据集训练一个孪生网络，学习图像的排序信息；最后，将该排序网络的权重作为初始化，微调一个多尺度特征融合的网络来预测图像的质量分数。实验证明，RU-IQA比现有水下质量评估指标（如UCIQE、UIQM）更符合人类主观感知。

2. 流程与操作：

   • 简单-困难样本分类：使用第一阶段训练好的域间增强网络对真实训练图像进行处理，然后用RU-IQA评估每个增强结果的质量得分。设定一个比例参数λ（研究中通过实验确定最优值为0.45），将得分最高的一部分图像划分为“简单样本”，其余为“困难样本”。简单样本的增强结果被认为是可信的，被用作伪标签。
   • 简单/困难域自适应：获得了带有伪标签的简单样本对和无标签的困难样本后，研究者采用了与第一阶段类似的三重对齐结构，但目标变为对齐简单样本域和困难样本域。具体来说，设计一个翻译网络将简单样本“转化”为类似困难样本的外观，同时一个增强网络利用简单样本的伪标签进行有监督学习，并通过对齐特征和输出分布，将知识迁移到困难样本上。这一过程有效缩小了真实数据内部的域内差距。

3. 测试流程：最终的测试流程简洁高效。对于一张输入的真实水下图像，首先通过第一阶段训练好的域间增强网络进行处理。然后，使用RU-IQA评估该增强结果的质量得分。若得分高于预设阈值（由λ决定），则认为该结果是可信的，直接输出。若得分低于阈值，则将该图像识别为困难样本，进一步送入第二阶段训练好的域内增强网络进行处理，得到最终增强结果。

四、 主要研究结果

研究通过大量实验验证了所提方法的有效性，结果可分为以下几个层面：

1. RU-IQA的有效性验证：在自建的水下排序测试集上，RU-IQA在多个相关性指标（如SROCC、PLCC）上均优于现有的无参考水下质量评估方法（UCIQE、UIQM等）及其他基于深度学习的IQA方法。更重要的是，视觉对比显示，RU-IQA给出的分数能更准确地反映图像的感知质量，特别是对伪影、色彩失真等问题的敏感性更强。这为后续的样本分类提供了可靠依据。

2. 整体性能对比：在五个公开的真实水下图像测试集上，将Tuda与八种先进的传统及深度学习增强方法进行定量和定性比较。

   • 定量结果：虽然在某些传统指标（UCIQE、UIQM）上并非总是第一，但Tuda在自主研发的RU-IQA指标和用户主观评分上 consistently取得了最佳或接近最佳的性能。这证实了Tuda产生的增强结果在人类视觉感知质量上具有显著优势。
   • 定性结果：视觉对比图清晰地显示，Tuda能有效校正各种色调（蓝、绿、黄）的色彩偏差，显著提升对比度和细节清晰度，同时避免过度增强和引入明显伪影。而对比方法在处理某些具有挑战性的图像时，常出现色彩恢复不准、细节模糊、局部伪影或噪声放大等问题。
   • 色彩还原精度：在专门用于评估色彩还原精度的SQUID-16数据集上，Tuda取得了最低的平均角度再现误差，证明了其在色彩校正方面的准确性。

3. 消融实验分析：通过逐步添加网络组件进行实验，验证了各个部分的重要性。

   • 域间自适应有效性：仅使用合成数据训练的基线模型，其增强结果的感知质量（RU-IQA和主观评分）远低于加入了三重对齐域间自适应阶段的模型。这表明域间自适应对于生成具有良好感知质量的真实图像增强结果至关重要。
   • 域内自适应有效性：在已有域间自适应的基础上，加入域内自适应阶段后，模型在困难样本上的增强质量得到进一步提升，RU-IQA和主观评分均有显著提高。这证明了处理域内差距的必要性和所提方法的有效性。

这些结果之间逻辑连贯：首先，RU-IQA的优异性能确保了样本分类的可靠性；其次，基于可靠分类进行的域内自适应，直接带来了对困难样本处理能力的提升；最终，两个阶段的协同作用使得Tuda在多样化的真实水下测试集上均取得了领先的综合性能。

五、 研究结论与价值

本研究得出结论：所提出的两阶段水下域自适应网络能够联合优化域间和域内差距，显著提升水下图像增强的视觉质量和泛化能力。

该研究的价值体现在： * 科学价值：这是首次在水下图像增强领域系统地同时探索域间和域内自适应问题的研究，为未来研究方向提供了新的思路。提出的三重对齐架构和基于排序的IQA方法具有创新性，丰富了域自适应和图像质量评估的研究工具。 * 应用价值：Tuda框架能够有效处理各种复杂真实水下场景的图像，产生视觉感知更优、色彩更准确、细节更清晰的增强结果。这直接有益于水下探测、海洋生物学研究、水下考古、潜水娱乐以及基于视觉的水下机器人导航、目标检测等实际应用。

六、 研究亮点

1. 问题定义新颖：明确指出现有研究忽视的“域内差距”这一关键挑战，并首次提出同时解决域间与域内差距的联合框架。
2. 方法创新性强：
   • 三重对齐网络：通过图像、特征、输出三个层面的联合对抗学习，有效构建跨域不变性。
   • 基于排序的RU-IQA：摒弃通用预训练模型，利用水下特有的排序信息学习感知质量先验，评估更准确，且易于集成到训练和测试流程中。
   • “简单-困难”分治策略：利用可靠的质量评估结果进行样本分类，并利用伪标签进行域内知识迁移，思路清晰且有效。
3. 实验验证充分：在多个公开基准数据集上进行了全面、严谨的定量与定性比较，并辅以详细的消融实验和参数分析，结论令人信服。
4. 工程实用性高：最终的测试流程仅需两个增强网络和一个轻量的IQA模块，在模型复杂度和运行时间上具有竞争力，便于实际部署。

七、 其他有价值的内容

论文还对水下图像增强的相关工作进行了系统的梳理，将其分为基于图像的方法、基于物理模型的方法和基于学习的方法，并对域自适应技术在其他视觉任务中的应用进行了概述，为读者提供了清晰的领域背景。此外，研究过程中构建的水下图像排序数据集和合成数据集已公开，为后续研究提供了宝贵的资源。论文中详细提供了网络结构图、训练细节、损失函数权重等超参数，具有很好的可复现性。