分享自:

基于物体感知方法的水下图像视觉质量优化

期刊:journal of king saud university computer and information sciencesDOI:10.1007/s44443-026-01363-5

本研究由 Ning Wang、Juan Chen 和 Jiaqiang Guo 三位作者共同完成,他们均来自新余学院建筑与设计学院。论文发表于 Journal of King Saud University Computer and Information Sciences 2026 年第 38 卷,DOI 为 https://doi.org/10.1007/s44443-026-01363-5。

学术背景与研究目的

水下目标检测(underwater object detection, UOD)在海洋生态监测、水下资源勘探、水下机器人、智能水产养殖和环境巡检等领域具有重要应用价值。然而,水下成像过程受到波长依赖性吸收、前向散射和后向散射的共同影响,导致图像出现严重的色彩偏移、模糊、低对比度和纹理丢失。红色波长在水中衰减速度快于绿色和蓝色波长,使远距离目标呈现强烈的色偏;悬浮颗粒沿成像路径散射光线,产生雾状干扰并降低局部对比度;人工照明则可能引入空间不均匀的亮度和局部过曝。这些效应共同导致目标边界模糊、前景目标与复杂海底背景之间的特征差异缩小。当目标较小、部分遮挡、伪装或靠近具有相似视觉模式的礁石、植被和沉积物结构时,检测问题进一步加剧。

现有水下目标检测方法大致分为三类:第一类将水下图像增强(underwater image enhancement, UIE)作为预处理步骤或级联前端,但 UIE 算法通常针对人类视觉感知而非检测精度进行优化,视觉上令人满意的结果可能削弱微弱轮廓、制造人工纹理或强化与目标边缘相似的背景结构;第二类在检测器中嵌入特征增强模块,但许多方法仍将水下退化视为一般性的低质量图像问题,未明确区分可靠区域与严重退化区域;第三类探索上下文或区域级关系建模,但当关系主要基于特征相似性或检测器分数构建时,视觉上类似目标的海底纹理可能被错误地用作可靠参考信息。本研究旨在将水下目标检测形式化为物理退化条件下的检测友好型表征学习问题,核心目标不是让输入图像看起来更清晰,而是让检测器学习能够保持目标结构、抑制退化特异性干扰并选择可靠区域作为参考的特征。

研究方法与详细流程

本研究提出 PDRNet,一个物理感知且面向检测的表征学习框架。其核心思想是将增强图像作为选择性训练参考而非直接的检测器输入。PDRNet 由四个顺序且相互连接的模块组成:物理感知增强选择(Physics-aware Enhancement Selection, PES)、退化引导对比学习(Degradation-guided Contrastive Learning, DCL)、双区域参考建模(Dual-region Reference Modeling, DRR)和退化感知多尺度融合(Degradation-aware Multi-scale Fusion, DAMF)。

PES 模块负责从多个增强算子生成的候选池中筛选可靠参考。训练期间使用九个冻结的 UIE 算子——FunIE-GAN、UColor、U-Shape Transformer、PUGAN、UDCP、OCM、EUIVF、DLPP 和 WaterNet,默认配置使用前七个。PES 首先通过轻量级先验估计器从 FPN 特征中预测三通道透射场 ρ 和背景干扰图 b。透射值低表示强衰减和严重散射,特征可靠性低;背景干扰值高表示该区域的海底纹理、不均匀照明或散射响应可能被误认为目标结构。候选参考通过三项指标进行排序:检测器导向项 d 由三个袋外教师检测器(Faster R-CNN、RetinaNet 和 YOLOv8-s,采用五折交叉验证)对候选图像的保留目标置信度、教师对之间的框/类别一致性和相对原始图像的保留目标比率聚合而成;物理一致性项 q 衡量透射场一致性、高可靠性区域内的边缘保持率和通道不平衡的减少程度;伪影项 a 衡量饱和像素比、强边缘周围的光晕能量和高干扰区域内的高频放大。三项指标使用训练分区百分位数进行鲁棒归一化后,最终得分 s = α·n(d) + (1-α)·n(q) - β·n(a),其中 α = 0.7,β = 0.25。得分最高的候选作为正参考,得分分布中底部 20%、20-60% 和 60-90% 的候选分别构成简单负参考、普通负参考和困难负参考组。泄漏控制协议确保测试分区不用于参考选择、教师训练、阈值选择或超参数调优,每个训练图像由未在该图像上训练的教师进行评分。

DCL 模块将 PES 选定的参考转换为特征级对比监督。对于特征金字塔的每个尺度 l,原始特征 f_l 被拉向正参考特征 f_l⁺,同时被推离负参考特征 f_l⁻。对比损失引入可靠性权重 rl(b) 和伪影权重 ν{l,z},其中 r_l(b) 是目标框 b 内可靠性图的平均值,降低严重退化区域的贡献;伪影权重根据候选的伪影得分进行归一化,强化对造成明显背景干扰的负参考的排斥。对比学习在实例区域级别、多个 FPN 尺度上进行,使用 RoIAlign 从原始图像、正参考和负参考特征图中提取同一真实框对应的嵌入。正样本对代表同一物理目标在两种光度渲染下的表现,而非无关图像对。

DRR 模块包含目标-目标分支和目标-背景分支。计算顺序为骨干/FPN→粗掩码头→节点构建→DRR→检测头。粗掩码头使用框导出的软掩码进行监督,但在训练和推理期间输入的都是预测的软掩码,不使用真实标签衍生的掩码作为图输入,从而保证训练和推理的图构建规则一致。目标-目标分支通过可靠性感知注意力从高可靠性目标节点向低可靠性目标节点传递结构信息:aᵒ_{ij} = softmax_j(θ_o(h_i)ᵀ ψ_o(h_j)/√d + η_o·r_j),其中 r_j 是节点 j 的可靠性值,ηo = 0.6 作为可靠性偏置鼓励网络从更清晰的目标区域借用信息。目标-背景分支通过干扰感知注意力从非目标区域节点传递上下文信息:aᵇ{ik} = softmax_k(θ_b(h_i)ᵀ ψ_b(g_k)/√d - η_b·b_k),其中负号前的 η_b = 0.5 降低了高干扰背景节点的影响。两个分支的输出通过可学习门控 γ_o 和 γ_b(初始化为零)以残差方式融合:f̃ = f + γ_o·g_o(f,r) + γ_b·g_b(f,b)。当图像中仅有一个可靠目标或没有有效的同类邻居时,目标-目标消息设为零且残差路径保持,目标-背景分支仍然可用。

DAMF 模块根据局部退化水平自适应融合不同尺度的特征。对于每个空间位置 p,尺度 l 的融合权重为 λ_l(p) = exp(ψ_l([f_l(p), r_l(p), b_l(p)])) / Σ_q exp(ψ_q([f_q(p), r_q(p), b_q(p)])),其中 ψ_l 是轻量级门控函数。在弱边界或小目标区域,DAMF 赋予保留细节的低级特征更高的权重;在严重雾霾、色彩失真或背景杂乱区域,降低噪声大的低级特征响应,更多依赖稳定的语义特征。总损失函数为 L = L_det + λ₁L_con + λ₂L_mask + λ₃L_phy,其中 λ₁ = 0.5,λ₂ = 0.2,λ₃ = 0.1。物理一致性损失 L_phy 通过水下成像重建过程约束估计的退化线索,防止退化估计器产生与水下物理无关的任意注意力图。

实验设置与主要结果

实验在 RUOD 和 URPC2020 两个数据集上进行,采用固定的按时间顺序划分的独立图像分割。RUOD 包含 14,000 张图像,分为 9,800 张训练、1,400 张验证和 2,800 张测试图像;URPC2020 包含 6,575 张图像,分为 4,600 张训练、650 张验证和 1,325 张测试图像。UOOD 数据集用于跨数据集评估,保留 1,560 张训练、223 张验证和 444 张测试图像,仅使用三个共享的底栖类别。默认检测器为 Faster R-CNN,骨干为 ResNet-50-FPN,输入分辨率 640×640,使用 SGD 优化器(初始学习率 0.01,动量 0.9,权重衰减 1×10⁻⁴),五轮线性预热和 50 轮余弦衰减,批大小为 8。受控实验在种子 2024、2025 和 2026 上取均值。

在 RUOD 数据集上,PDRNet 达到 81.0 ± 0.30% mAP、96.1 ± 0.20% mAP50 和 84.7 ± 0.26% mAP75。与 UDMDet 相比分别提升 2.8、2.1 和 3.6 个百分点。受控对比中,统一基线为 75.8 ± 0.30% mAP,PDRNet 提升 5.2 个百分点至 81.0%;mAP50 提升 4.9 个百分点,mAP75 提升 6.5 个百分点,APS 提升 7.2 个百分点。在 YOLOv8-s 上,PDRNet 将 mAP 从 76.4% 提升至 79.6%(+3.2),APS 从 47.3% 提升至 51.5%(+4.2),表明改进在一阶段和两阶段检测器上均持续存在。核心模块消融显示:PES 使 mAP 从 75.8% 提升至 77.2%(p = 0.0017),DCL 提升至 78.5%(p = 0.0020),DRR 提升至 79.7%(p = 0.0023),DAMF 最终达到 81.0%(p = 0.0020)。DRR 分支消融中,仅目标-目标分支的 mAP 提升 0.8 个百分点(p = 0.005),仅目标-背景分支提升 0.6 个百分点但标准偏差较大(p = 0.122,统计上不确定),组合分支提升 1.2 个百分点且稳定(p = 0.002)。参考池大小从 1 增至 7 时 mAP 从 78.8% 提升至 81.0%,增至 9 时略微下降至 80.9%。PES 得分分解中,检测器反馈项单独使用达 80.1% mAP,物理一致性项达 79.6%,伪影最小化达 79.2%,三项合并的完整 PES 得分为 81.0%,表明 1.4 个百分点的 PES 贡献不能归因于单一标量线索。透射估计器的验证集合成诊断显示综合 MAE 为 0.068,Spearman 秩相关为 0.85,在严重散射子集中 MAE 增大至 0.078 但秩相关仍高于 0.8。在 URPC2020 数据集上,PDRNet 达到 68.6% mAP、92.8% mAP50 和 93.9% F2-score,相比 UDMDet 分别提升 3.2、2.7 和 2.9 个百分点。跨数据集零样本评估中,PDRNet 将 UOOD 的 mAP 从 38.7 ± 0.34% 提升至 42.9 ± 0.31%,无需目标域微调。计算复杂度方面,默认七算子池的候选生成需 3.95 小时和 18.6 GB 存储,教师评分需 2.29 小时,离线预处理共 6.24 小时。基线训练每轮 8.6 分钟,PDRNet 每轮 11.8 分钟(增加 37.2%)。推理时增强池和教师集成被移除,Faster R-CNN 骨干下参数从 41.3M 增至 45.9M(+11.1%),GFLOPs 从 181.2 增至 196.7(+8.6%),FP32 延迟从 28.4 增至 33.8 ms/张。

结论与意义

本研究提出 PDRNet,一个物理感知且面向检测的水下目标检测表征学习框架。其核心贡献在于重新定位了水下图像增强的角色:从固定的预处理步骤或通用特征增强模块,转变为一组候选参考信号,由物理可信度和检测器反馈共同决定哪些参考值得用于表征学习。PDRNet 通过 PES 筛选多算子增强池中的正负参考,通过 DCL 将选定的参考信息转化为原始图像特征的对比约束,通过 DRR 实现目标间结构补偿和目标-背景上下文抑制,通过 DAMF 实现退化感知的多尺度特征融合。实验结果表明该方法在 RUOD 和 URPC2020 上均取得显著提升,尤其在 mAP75 和 APS 上的较大增益表明预测框更紧密地贴合弱边界,小目标召回率提高 6.8 个百分点。跨数据集零样本评估进一步验证了表征的可迁移性。PDRNet 的科学价值在于明确区分了视觉增强质量与检测实用价值之间的不一致性,并提供了一种物理感知的参考选择机制来解决这一失配;其应用价值在于推理阶段无需运行多个增强网络,仅增加适度的参数和计算开销(Faster R-CNN 路径增加 8.6% GFLOPs),适用于计算资源受限的水下自主航行器和遥控作业车辆。研究还明确指出了若干局限性:透射估计器在严重散射条件下可靠性降低,仅适用于可靠性排序而非度量深度重建;粗掩码质量与真实掩码上限之间存在 1.0 mAP 的差距;参考池未包含扩散模型类增强算子,无法声称对所有增强家族的泛化能力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com