分享自:

真实场景中的深度局部运动去模糊

期刊:association for the advancement of artificial intelligence

该文档属于类型a(单篇原创研究论文),以下是学术报告内容:


作者及机构
本研究由Haoying Li(第一作者,单位:浙江大学光电科学与工程学院;浙江实验室智能传感系统研究中心)、Ziran Zhang(共同一作,标注*号)、Tingting Jiang(共同一作,标注*号)、Peng Luo(共同一作,标注*号)、Huajun Feng(通讯作者,标注†号)及Zhihai Xu合作完成,发表于2023年人工智能领域顶级会议(Association for the Advancement of Artificial Intelligence, AAAI)。

学术背景
研究领域为计算机视觉中的图像去模糊(image deblurring)任务。现有方法主要针对相机抖动引起的全局模糊(global motion blur),但对物体运动导致的局部模糊(local motion blur)处理效果不佳。局部模糊的复杂性与数据集的缺失是该领域的核心挑战。本研究旨在填补这一空白,提出首个真实场景局部模糊数据集(ReLoBlur)及局部模糊感知门控网络(LBAG),以解决局部与全局去模糊任务间的性能差距。

研究流程与方法
1. 数据集构建(ReLoBlur)
- 采集系统:采用同步分光摄影系统(synchronized beam-splitting photographing system),通过两台相机(长曝光与短曝光)同步拍摄局部模糊图像与清晰图像对。
- 样本规模:包含2405对图像(2010对训练,395对测试),涵盖室内外场景(行人、车辆、宠物等),局部模糊区域平均占比11.75%。
- 后处理流程:针对分光系统的色偏(color cast)和几何错位问题,开发了包含色彩校正、光度对齐、ISP处理和几何对齐的流水线。
- 创新性:首次实现真实局部模糊数据的自然采集,并通过物理模型(如公式1)验证模糊形成的真实性。

  1. 算法设计(LBAG网络)

    • 网络架构:基于MIMO-UNET改进,增加局部模糊感知模块:
      • 模糊检测:通过背景减除法(background subtraction)生成模糊区域掩膜(local blur mask)。
      • 门控机制(gate block):引导网络聚焦模糊区域,避免背景干扰。
      • 数据平衡策略(BAPC):在训练中裁剪含至少50%模糊区域的图像块,解决数据不平衡问题。
    • 损失函数:结合掩膜预测损失(MSE)、重建损失(MAE+SSIM)和多尺度频率重建损失(MSFR)。
  2. 实验验证

    • 对比方法:测试了DeepDeblur、DeblurGAN-V2、SRN-DeblurNet等全局去模糊方法。
    • 评估指标:除PSNR、SSIM外,提出局部权重指标(weighted PSNR/SSIM)和对齐PSNR(PSNRA)。
    • 结果:LBAG在PSNR(34.85 dB)、SSIM(0.9257)及局部指标上均优于基线模型,消融实验验证了门控模块(提升0.18 dB)和BAPC策略(提升0.1 dB)的有效性。

主要结果与逻辑链
- 数据集有效性:ReLoBlur训练的LBAG+模型比合成数据训练的模型PSNR高0.82 dB(表2),证实真实数据不可替代性。
- 算法优势:门控模块使网络专注模糊区域(图6),避免全局方法对背景的失真(如SRN-DeblurNet的手部形变);BAPC策略显著提升局部指标(表3)。
- 可解释性:光学流校正(附录B)将几何对齐误差降至1像素内,保障了数据真实性。

结论与价值
1. 科学价值:首个真实局部模糊数据集ReLoBlur为领域提供了基准测试平台;LBAG网络通过局部感知机制,为动态场景去模糊提供了新思路。
2. 应用价值:适用于监控、自动驾驶等需处理运动物体模糊的场景。附录A指出现有数据集(如RealBlur)的色偏问题,凸显本研究的实用性改进。

研究亮点
1. 数据集创新:通过分光系统和后处理流水线,突破合成数据的局限性。
2. 方法创新:结合物理模型(公式2调整曝光时间)与深度学习,门控机制实现局部-全局协同去模糊。
3. 全面评估:提出局部加权指标,更贴合实际需求。

其他价值
- 附录D提出的平移不变性损失(shift-invariant loss)补偿了对齐误差,可作为其他几何敏感任务的参考。
- 公开代码与数据(项目主页),促进领域复现与拓展。


(注:全文约1600字,覆盖原文核心内容,专业术语如PSNR/SSIM首次出现时保留英文并标注中文释义)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com