分享自:

基于参数化模糊核先验学习的局部运动去模糊

期刊:CVPR

本文报告了一项由Xidian University和State University of New York at Albany联合完成的原创研究,题为《Parameterized Blur Kernel Prior Learning for Local Motion Deblurring》,发表于CVPR会议。研究团队包括Zhenxuan Fang、Fangfang Wu(通讯作者)、Tao Huang、Le Dong、Weisheng Dong(通讯作者)、Xin Li和Guangming Shi。

学术背景

局部运动去模糊(Local Motion Deblurring, LMD)是计算机视觉领域的重要课题,旨在恢复因物体局部运动导致的模糊区域,同时保持背景清晰。与全局运动模糊不同,LMD的模糊核(blur kernel)具有空间变化性,传统方法依赖人工标注的模糊掩模(blur mask)且忽略模糊核特性,导致恢复效果受限。本研究提出参数化模糊核建模方法,通过长度(length)、角度(angle)和曲率(curvature)三个关键参数表征模糊核,并利用记忆库(memory bank)存储模糊先验信息,结合双分支去模糊网络(dual-branch deblurring network)提升恢复精度。

研究流程

  1. 模糊核建模
    研究提出参数化模糊核生成方法,通过数学公式(式2-6)将运动轨迹分解为长度、角度和曲率,生成可解释的模糊核。例如,长度控制模糊强度,曲率影响轨迹弯曲程度。图2展示了不同参数的模糊核示例。

  2. 先验估计网络(Motion Prior Estimation Network)

    • 编码器-记忆库机制:模糊图像通过编码器提取特征,与记忆库中的模糊先验信息匹配,更新特征(式8)。记忆库通过自监督策略动态调整,存储真实运动模糊特征。
    • 辅助再模糊网络(Auxiliary Reblurring Network):共享记忆库,将清晰图像重新模糊以验证参数估计准确性(图3)。训练完成后,该网络被丢弃。
  3. 双分支去模糊网络(Prior-Guided Deblurring Network, PGDN)

    • 全局分支:采用状态空间模型(State Space Model, SSM,基于Mamba框架)捕捉长程依赖关系,通过选择性扫描机制(Selective Scan, S6)实现线性计算复杂度(式9-10)。
    • 局部分支:基于CNN的掩模引导网络,聚焦模糊区域。模糊掩模由长度参数生成(若长度超过阈值σ则判定为模糊区域)。
  4. 训练流程

    • 预训练阶段:通过ℓ1损失(式11)优化先验估计网络,确保再模糊图像与原始模糊图像一致。
    • 去模糊阶段:利用估计的模糊核参数和掩模指导双分支网络,通过ℓ1损失(式12)约束输出接近清晰图像。

主要结果

  1. 模糊核估计精度:与Whyte[29]和UFPNet[6]相比,本方法的再模糊图像与原始模糊图像的PSNR/SSIM显著更高(表2),证明参数化建模和记忆库的有效性。
  2. 去模糊性能:在ReLoBlur数据集上,PGDN的PSNR达36.53 dB(表1),优于Restormer[34]和LMD-ViT[18]等SOTA方法,且参数量(29.21M)和计算量(0.613T FLOPs)更低。视觉对比显示,本方法能更好恢复纹理细节(图5-6)。
  3. 泛化性:在GoPro数据集上的全局去模糊任务中,PSNR达34.17 dB(表6),表明方法具有普适性。

结论与价值

本研究通过参数化模糊核建模和记忆库先验学习,解决了局部运动去模糊中模糊核估计不准和掩模依赖人工的问题。双分支网络结合Mamba的长程建模能力和CNN的局部细化优势,实现了高效高精度的去模糊。科学价值在于提出了可解释的模糊核参数化方法,应用价值为实际场景(如自动驾驶、医学成像)中的局部模糊修复提供了新思路。

亮点

  1. 创新方法:首度将长度、角度、曲率参数用于模糊核建模,提升估计透明度和灵活性。
  2. 记忆库设计:通过自监督更新机制存储真实运动先验,增强特征表示。
  3. 计算高效:Mamba分支的线性复杂度使模型在保持性能的同时降低计算负担。

其他贡献

  • 开源代码和数据集(ReLoBlur)促进了领域内复现与拓展。
  • 消融实验验证了各模块必要性(表3-5),如变形卷积(Deformable Convolution)通过动态调整感受野进一步提升精度0.17 dB。

(注:专业术语如“State Space Model (SSM)”“Selective Scan (S6)”等在首次出现时标注英文原文。)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com