本文介绍一项发表于 Machine Vision and Applications 期刊2021年第32卷的最新研究。该研究由哈尔滨工程大学智能系统科学与工程学院的 Chengtao Cai、Haiyang Meng、Renjie Qiao 和 Feng Wang 共同完成，论文标题为“*Water–air imaging: distorted image reconstruction based on a twice registration algorithm*”（水气成像：基于双重配准算法的失真图像重建）。论文于2021年3月23日在线发表。
一、 研究背景与目标 本研究属于计算机视觉与图像处理领域，核心是解决一个长期存在的挑战性问题：当相机透过动态水面对场景进行成像时，由于水波的折射和扰动，捕获的图像会产生严重的几何畸变和运动模糊，导致图像可读性严重下降。这种现象在水下观测空中场景或空中观测水下场景时尤为常见。尽管前人已提出多种方法来试图校正这种失真（例如利用“幸运区域”思想、图像配准技术等），但恢复效果仍不尽如人意，尤其在参考图像质量提升方面存在瓶颈。因此，本研究的目标是提出一种更有效的图像重建方法，以从严重失真的图像序列中恢复出清晰、可读的静态场景图像。其核心创新点在于提出了一种“双重配准算法”，并通过一种新颖的“块搜索”方法来迭代优化参考图像，从而显著提升最终图像的重建质量。
二、 研究方法与详细流程 本研究提出了一套完整的图像重建流程，主要包含两个核心阶段：第一次配准和第二次配准。整个流程的输入是一组因水波扰动而严重失真的图像序列。
第一阶段：第一次配准 此阶段的目标是利用初始失真序列得到一个初步校正的序列，为第二阶段提供质量更好的输入。 1. 生成初始参考图像：首先，计算输入失真图像序列的时间均值图像，将其作为第一次配准的参考图像。由于水波动态扰动，该均值图像通常存在运动模糊。 2. 参考图像去模糊：为了提高后续配准的精度，研究者对上述均值参考图像应用了一种图像去模糊算法（文中引用了作者团队先前的工作 *Cai et al., IEEE Access 2018*），以获得更清晰的参考图像。 3. 非刚性图像配准与校正：这是本阶段的核心步骤。研究采用基于B样条（B-spline）的非刚性图像配准技术。具体而言，将去模糊后的参考图像与失真序列中的每一帧图像进行配准。B样条函数通过一个控制点网格来建模图像间的复杂形变（失真），如公式(1)和(2)所示。通过最小化参考图像与失真帧之间的归一化互信息差异，可以估计出每帧图像相对于参考图像的失真变换矩阵（包括X和Y方向的位移场）。 4. 图像重建：利用估计出的失真变换矩阵，对每一帧失真图像进行反向的2D插值变换，将其“拉直”对齐到参考图像坐标系，从而得到初步校正后的图像序列。算法1展示了此阶段的伪代码。该过程会迭代进行（通常迭代次数T1=6），每次迭代后都用更新后的校正序列重新计算均值参考图像，直到收敛。
第二阶段：第二次配准 第一次配准后，图像质量虽有提升，但若继续使用简单的序列均值作为参考图像，其质量在后续迭代中改善有限，成为精度提升的瓶颈。因此，第二阶段的核心是动态更新一个更高质量的参考图像。 1. 输入准备：将第一次配准输出的校正图像序列作为第二次配准的输入。 2. 基于块搜索的参考图像更新：这是本研究的核心创新之一。 * 图像分块：将当前参考图像（初始为第一阶段输出的均值图像）划分为 U x V 个不重叠的图像块（Patch）。 * 块匹配搜索：对于参考图像中的每一个块，在整个输入图像序列的所有帧中，搜索与之最相似的对应块。相似度的度量标准是峰值信噪比（PSNR）。具体计算如公式(4)和(5)所示，计算目标块与候选块之间的均方误差（MSE），进而得到PSNR。 * 最优块选择：对于每个参考图像块位置，遍历序列中所有帧在该位置的对应块，选出PSNR值最高的那个块（即质量最好、失真最小的块），如公式(6)所示。这一过程模拟了在序列中寻找每个局部区域的“幸运区域”。 * 重构新参考图像：将所有位置选出的最优图像块，按原位置组合，形成一张全新的、质量更高的参考图像，如公式(7)所示。为了消除块边界可能产生的不连续效应，采用了加权平均法进行融合。由于此方法直接从已校正的序列中选取最佳局部，生成的新参考图像清晰且无显著模糊，因此第二阶段无需再进行去模糊处理。 3. 二次非刚性配准与重建：使用上述方法生成的高质量新参考图像，再次对输入序列（即第一次配准的输出）执行基于B样条的非刚性配准。此过程与第一阶段类似，但参考图像质量更高。通常迭代次数T2=4。最终，经过第二次配准校正输出的图像序列，即为最终的重建结果。算法2展示了此阶段的伪代码。
三、 实验结果与分析 研究者设计了详尽的实验来验证所提方法的优越性，并与当时最先进的几种方法进行了对比，包括Tian等人 (2009)、Oreifej等人 (2011)、Zhang等人 (2019) 和Halder等人 (2017) 的方法。 1. 数据集：实验使用了两种数据集。一是现有公开数据库（来自Tian 2009的工作），包含“大字体”、“中字体”、“小字体”和“砖墙”四组图像序列，每组61帧。二是自制生成数据库，通过搭建的水-气成像系统（充气泳池、防水相机、模拟场景、风扇）捕获，包含“建筑”、“英文字体”、“乡村风景”和“鸟”四组场景序列。 2. 评价指标：采用全参考图像质量评价指标，包括峰值信噪比（PSNR，值越大越好）、结构相似性指数（SSIM，值越大越好）和平方差和（SSD，值越小越好）。此外，还采用了一种无参考的盲图像质量评价方法（Gabarda & Cristóbal, 2007）来评估恢复图像序列的整体质量，该指标值越高表示恢复效果越好。 3. 定量与定性结果： * 在现有数据库上：如表1所示，所提方法在“大字体”、“中字体”、“小字体”三个场景的PSNR和SSIM指标上全面领先所有对比方法，仅在“砖墙”场景的个别指标上略低于Halder的方法，但整体表现最优。图7的视觉对比也清晰显示，本文方法恢复的图像文字更清晰，背景纹理更干净，失真残留最少。图9的无参考评价曲线（蓝色曲线）也表明，本文方法的结果在各序列上均获得最高评分。 * 在生成数据库上：如表2所示，本文方法在四个自制场景的PSNR和SSIM指标上均大幅超越Tian和Oreifej的方法。图10的视觉对比同样证实，本文方法恢复的图像在清晰度和视觉保真度上具有明显优势。图11的无参考评价曲线再次验证了本文方法的鲁棒性和优越性。 4. 关键验证实验：研究者还通过控制变量实验验证了算法设计的重要性。图6展示了仅使用第一次配准、仅使用第二次配准以及结合两次配准的结果对比，证明两者缺一不可：第一次配准为第二次提供了初步校正的输入，而第二次配准则通过高质量参考图像将重建质量提升到新高度。图5则对比了在第一次配准中，使用去模糊与不使用去模糊、以及结合块搜索更新参考图像的效果，证明了这些步骤对于提升参考图像质量（图5b比图5a更清晰）进而改善最终结果的必要性。
四、 研究结论与价值 本研究提出了一种基于双重配准算法的水-气界面失真图像重建方法。该方法的核心贡献在于： 1. 提出了“两次配准”的框架，首次配准利用去模糊后的序列均值图像作为参考，进行初步校正；第二次配准则利用创新的“块搜索”方法，从初步校正的序列中合成更高质量的参考图像，进行精细校正，突破了传统方法中参考图像质量提升的瓶颈。 2. 引入了“块搜索”参考图像更新机制。该方法通过PSNR指标为参考图像的每个局部区域从序列中寻找最佳匹配块，有效地集成了整个序列中的“幸运”信息，生成了远超简单均值图像质量的参考图像。 3. 实验充分证明了有效性。在公开和自制数据集上，该方法在主观视觉质量和客观评价指标上均优于多种前沿方法，展示了其鲁棒性和优越性。
本研究的科学价值在于为动态折射介质（如水波）导致的复杂几何失真图像校正问题提供了一种新颖且有效的解决方案，特别是在参考图像优化策略上做出了重要改进。其应用价值广泛，可用于水下探测、海洋观测、水面目标识别、水下考古摄影等需要通过扰动水面进行成像的领域，提高所获图像信息的可用性。
五、 研究亮点与未来方向 亮点： 1. 方法创新性：“双重配准”流程与“基于块搜索的参考图像更新”策略是核心创新，巧妙地将全局初步校正与局部最优选择相结合。 2. 性能优越性：通过系统的实验对比，证明了该方法在多项指标上超越已有先进方法，重建图像细节更丰富，失真矫正更彻底。 3. 流程完整性：研究考虑了从去模糊、非刚性配准到迭代优化、质量评估的完整流程，并提供了详尽的算法描述和实验分析。
局限与未来工作： 作者在结论中指出，当前方法的前提是相机与目标场景相对静止。因为参考图像依赖于图像序列的统计信息（均值和块搜索），在相机或场景剧烈运动的动态场景下，该方法将不再适用。因此，未来的研究方向是改进算法，使其能够处理相机与场景存在相对运动时的水-气界面成像校正问题，这将是更具挑战性的任务。