运动自适应可分离协同滤波器的盲运动去模糊研究

作者及机构
本研究的核心团队由来自西安交通大学（Xi’an Jiaotong University）、旷视科技（Megvii Technology）、加州大学默塞德分校（University of California, Merced）以及陕西玉兰九州智能光电技术有限公司（Shaanxi Yulan Jiuzhou Intelligent Optoelectronic Technology Co., Ltd）的研究人员组成。第一作者为Chengxu Liu，通讯作者包括Xueming Qian和Ming-Hsuan Yang。该研究以论文形式发表于计算机视觉领域的顶级会议CVPR（计算机视觉与模式识别会议），属于开放获取版本，最终出版版本可通过IEEE Xplore获取。

学术背景

研究领域与动机
该研究属于计算机视觉中的图像复原（image restoration）领域，具体聚焦于盲运动去模糊（blind motion deblurring）问题。现实世界中，相机抖动、物体快速运动等因素会导致图像模糊，而此类模糊通常具有空间可变性（spatially-variant），即不同区域的模糊模式（blur pattern）差异显著。传统方法主要依赖特征空间中的残差重建（residual reconstruction），但这类方法存在两大局限：
1. 模型解释性不足：基于卷积神经网络的“黑盒”特性难以捕捉真实场景中的复杂运动；
2. 空间适应性缺失：忽略了对图像空间中运动模式的定制化处理。

研究目标
为解决上述问题，作者提出了一种新型滤波模型——运动自适应可分离协同滤波器（Motion-Adaptive Separable Collaborative Filter, MISC Filter），旨在直接在图像空间（image space）中处理模糊，而非依赖特征空间的残差学习。

研究方法与流程

1. MISC滤波器的核心设计

MISC滤波器由两个关键模块构成：
- 运动引导对齐模块（Motion-Guided Alignment, MGA）：通过运动估计网络预测运动流（flow）、掩膜（mask）、核（kernels）、权重（weights）和偏移量（offsets），将模糊模式沿运动方向对齐至中间时刻。
- 运动流估计：使用轻量级卷积层预测像素级偏移（offset），表征从运动中心到终点的方向。
- 双向变形（bi-directional warping）：结合掩膜调制，避免不同方向的对齐像素遮挡问题。
- 可分离协同滤波模块（Separable Collaborative Filtering, SCF）：通过协同估计的1D核（垂直与水平方向）、权重和偏移量，对对齐后的图像进行滤波。
- 参数协同估计：采用核估计器（kernel estimator）、偏移估计器（offset estimator）和权重估计器（weight estimator），其中核通过一对1D核近似2D核，显著降低计算复杂度。

2. 网络耦合策略

为平衡运动估计网络与残差重建网络的效率，作者对比了五种耦合策略（如并行、半并行、串行、半共享、全共享），最终选择全共享结构（shared-based）并优先执行滤波操作，以最大化模型性能（PSNR提升0.4 dB）。

3. 实验设计

• 数据集：在RealBlur（含RealBlur-R/J）、GoPro和HIDE四个基准数据集上验证，训练集规模从2,103（GoPro）至7,516（RealBlur-R/J）对图像不等。
  
• 评估指标：PSNR（峰值信噪比）和SSIM（结构相似性指数）。
  
• 实现细节：采用U-Net结构，核大小设为7，训练使用余弦退火调度和Adam优化器，输入图像块大小为256×256。
  

主要结果

1. 定量对比：在RealBlur-R和RealBlur-J上，MISC滤波器的PSNR分别达到41.23 dB和33.88 dB，显著优于FFTFormer（40.11 dB/32.62 dB）和UFPNet（40.61 dB/33.35 dB）。在GoPro和HIDE上，其性能与SOTA方法相当，但推理速度提升50%（0.07秒/帧）。
   
2. 定性分析：如图4所示，MISC滤波器能有效恢复快速运动物体的纹理细节（如车轮、文字），尤其在复杂运动场景中表现突出。
   
3. 消融实验：
   
   • 单独添加MGA模块可使PSNR提升0.11 dB；
     
   • 完整MISC滤波器（MGA+SCF）进一步将PSNR提升至32.83 dB（较基线+0.43 dB）；
     
   • 核大小超过7后性能增益趋于饱和。
     

结论与价值

科学价值
1. 方法创新：首次提出在图像空间中直接处理运动模糊的滤波框架，突破了传统残差重建的局限性；
2. 理论贡献：通过运动引导对齐与协同滤波的耦合，为空间可变模糊建模提供了可解释性强的解决方案。

应用价值
MISC滤波器可应用于自动驾驶、监控视频增强等实际场景，尤其适合处理相机抖动或物体快速运动导致的模糊。代码已开源（GitHub仓库：https://github.com/chengxuliu/miscfilter）。

研究亮点

1. 运动自适应设计：通过预测运动流、掩膜和滤波参数，实现对复杂运动的差异化处理；
   
2. 计算效率优化：1D核近似与轻量级估计器设计将计算复杂度降至线性量级；
   
3. 多任务协同：首次系统分析了运动估计与残差重建网络的耦合关系，为后续研究提供范式。
   

其他发现

在硬件引起的模糊（如屏下摄像头UDC）任务中，MISC滤波器虽未专门优化低光问题，但仍达到与专用模型（如BNUDC）相近的性能（PSNR 38.42 dB vs. 38.60 dB），展现了其泛化潜力。