本文的研究人员主要包括来自河南科技学院的 Yuhe Gao、Jishen Jia、Lei Cai、Meng Zhou、Haojie Chai 以及河南工程学院的 Jinze Jia。该项研究以题为“A Method of Image Restoration for Distortion of Object in Water-Air Cross-Media”的论文形式，发表于2024年4月22日的《International Journal of Distributed Sensor Networks》期刊。
该研究属于计算机视觉和图像处理领域，特别是针对水下-空中跨介质环境下的图像复原问题。当两栖机器人或水下设备从水下观测空中目标时，光线需要穿过水和空气两种介质。由于两者折射率不同以及水面的不均匀分布（如波动、湍流、悬浮颗粒），光线传播路径会发生复杂的折射、反射和衍射现象，导致捕获的图像出现严重的几何失真（扭曲、拉伸）和模糊/伪影。这种图像质量的退化严重影响了后续目标检测与识别的准确性。传统的图像校正方法，如基于相机标定的技术，需要精确的相机内部参数和畸变模型，在水-空跨介质这种复杂、非结构化且畸变不确定的环境中往往效果不佳。同样，基于传统滤波器的方法在去除模糊时容易导致细节丢失或引入新的伪影。因此，本研究旨在开发一种能够有效处理水-空跨介质图像中复杂畸变和模糊的深度学习方法，以恢复出清晰、几何正确的物体图像，提升跨介质观测系统的可靠性。
本研究提出了一种基于改进U-Net架构的修复网络，整个工作流程主要包括三个核心模块，并构成了一个端到端的训练框架。首先，是水-空跨媒体图像的正负样本特征提取与注意力模块。研究使用自建的数据集，其中正样本是在水-空跨介质环境下拍摄的失真图像及其多尺度视图，负样本则是在空气中拍摄的同一场景的真实图像（ground-truth）及其多尺度视图。研究设计了六个特征提取模块，每两个为一组，分别处理同一尺度的正负样本图像。每个模块采用堆叠的3x3和1x1卷积层进行特征提取。核心在于，通过比较正样本（失真图像）和负样本（清晰图像）在相同空间位置上的特征点，算法保留那些差异较小的特征点（意味着这些位置未发生畸变或畸变较小），而对差异较大的特征点进行“注意力标记”。这一步骤本质上是对图像中可能发生畸变的区域进行了定位和聚焦，为后续的针对性校正提供了输入。
其次，是几何线注意力校正模块。该模块是本研究的关键创新点，旨在修正由介质不均引起的几何线条扭曲。模块由三个通道注意力模块和两个空间注意力模块组成，用于提取图像的局部-全局几何线特征。CAM负责关注特征图中哪些通道对线条特征更重要，而SAM则通过并行执行全局最大池化和全局平均池化操作，并结合卷积层，生成空间注意力权重图，以增强图像中的几何线条区域。该模块的输入是上一阶段标记出的差异特征以及融合后的特征。其工作原理是，通过自注意力机制感知图像中的几何线条，特别关注正负样本间差异较大的标记特征点，并利用正负样本中线段的相似性，通过缩小这些差异特征点之间的距离来实现线条校正。训练该模块时，使用Sobel算子从负样本中提取的边缘图作为真值，通过计算GACM输出特征图与真实边缘图之间的损失来优化网络，使网络学会将失真线条校正到与真实线条一致的位置和形态。
第三，是模糊伪影消除模块。水面的不规则流动以及几何线校正过程本身都可能引入模糊或特征残留伪影。为了处理这些问题，本研究设计了一个多尺度特征融合模块。该模块接收来自几何线校正模块的不同尺度特征图作为输入。由于深层网络特征语义信息强但空间细节弱，浅层网络则相反，MFFM通过上采样和下采样操作，将不同尺度的特征信息进行连接与融合，在一个单一的U-Net信息流中实现了跨尺度的信息流通。具体包含两级MFFM，通过自适应地融合不同路径的特征，有效地去除了图像中的模糊伪影部分，实现了高效的多尺度去模糊。该模块的损失函数采用基于欧几里得距离的多尺度内容损失，确保复原图像在多个特征层次上都与真实图像接近。最终，整个网络的总损失函数是几何线校正损失和模糊伪影消除损失的加权和。
本研究的主要结果通过一系列对比实验和消融实验得到验证。实验部分首先在公开的Imagenet数据集衍生的水-空气视觉数据集上进行了测试。与AWTVFFNet、UnfairGAN、LPF、Carnet等先进方法相比，尽管在MSE和PSNR指标上UnfairGAN表现略优，但本研究提出的方法在衡量结构相似性的SSIM指标上表现最佳，特别是在专门评估线条校正精度的LineAcc指标上取得了33.125的最高分，相比其他方法有显著提升，这直接证明了所提方法在几何线校正方面的优势。视觉对比图也显示，本方法在恢复文字边缘和物体轮廓线条方面更为清晰。
更重要的是，研究在自建的水-空跨媒体失真图像数据集上进行了更全面的评估，涵盖了常规环境、低浊度水环境和高浊度水环境三种场景。在常规环境下，本方法在PSNR、SSIM和LineAcc指标上均取得最优值，其中LineAcc达到33.030。在低浊度水环境下，面对轻微模糊，本方法在SSIM和LineAcc上继续保持领先，显示了其鲁棒性。在高浊度水环境下，图像质量挑战最大，本方法虽然在PSNR等绝对质量指标上略有下降，但在衡量线条恢复能力的LineAcc指标上（30.974）依然优于所有对比方法，这表明即使在极端恶劣的水质条件下，其几何校正模块依然有效。此外，研究还对比了训练时间，本方法因引入了跳跃连接优化了训练路径，训练效率更高。
消融实验进一步证实了各个模块的有效性。以基础U-Net为基线，单独添加几何线注意力校正模块或模糊伪影消除模块都能显著提升所有评价指标。当两者同时加入时，网络取得了最佳性能，MSE降至799.17，PSNR提升至22.3546，SSIM达到0.5933，LineAcc达到32.104。这清晰地表明，GACM和BAEM两个模块相辅相成，GACM专注于几何结构的精确恢复，而BAEM则负责清理校正过程中产生的残留模糊和噪声，共同实现了对复杂水-空跨介质图像的全面修复。
本研究得出结论：针对两栖机器人水-空跨介质侦察中因介质不均匀和流体不规则流动导致的图像畸变与模糊问题，所提出的基于多尺度特征注意力的修复网络是可行且有效的。该方法通过正负样本特征差异注意力机制定位畸变区域，利用几何线注意力校正模块灵活高效地修正各种场景下的失真线条，并借助多尺度U-Net信息流融合消除模糊伪影，从而完成了对水-空跨介质下物体失真图像的恢复。实验表明，该方法在多种水质条件下均能提升图像质量与几何精度，对于提升在陆海交界区域的目标探测与识别能力具有重要的实际应用价值。
本研究的亮点在于其针对特定问题的创新性模块设计。首先，提出了正负样本特征提取注意力模块，通过对比学习的思想显式地建模了畸变区域，而非盲目处理整幅图像。其次，针对水-空界面畸变的不确定性，创造性地设计了几何线注意力校正模块，该模块不依赖于精确的物理畸变模型，而是利用数据驱动和注意力机制学习如何将失真线条“拉回”正确位置，这在处理非结构化畸变时显示出强大灵活性。最后，采用多尺度特征融合的单U-Net信息流进行去伪影，在保证效率的同时实现了多尺度特征的互补，提升了复原图像的清晰度和自然度。这些模块共同构成了一个专门针对水-空跨介质图像复原的定制化解决方案，为该领域的研究提供了新的思路和技术路径。