分享自:

基于运动感知事件表示的图像去模糊方法

期刊:ECCV 2024DOI:10.1007/978-3-031-72952-2_24

这篇文档属于类型a(单篇原创性研究报告)。以下是针对该研究的学术报告:


基于运动感知事件表征的图像去模糊方法研究

一、作者单位及发表信息

本研究由Zhijing Sun, Xueyang Fu, Longzhuo Huang, Aiping Liu, Zheng-Jun Zha(中国科学技术大学信息科学与技术学院,类脑智能感知与认知教育部重点实验室)团队完成,发表于ECCV 2024(欧洲计算机视觉会议),收录于会议论文集《LNCS 15104》。论文标题为《Motion Aware Event Representation-Driven Image Deblurring》。


二、学术背景

科学领域
研究属于计算机视觉中的图像去模糊(Image Deblurring)领域,聚焦于结合事件相机(Event Camera)数据提升动态场景去模糊效果。

研究动机
传统基于帧的相机(frame-based cameras)在运动场景中易因曝光时间限制产生运动模糊,而单张模糊图像丢失了运动信息,导致去模糊算法易产生伪影。事件相机通过微秒级时间分辨率(μs)记录亮度变化,可提供精确的运动信息,但现有方法仅累加事件极性(polarity accumulation),忽略了事件生成的绝对光强变化,导致运动模式感知不足。

研究目标
1. 提出新型事件预处理方法偏差累积(Deviation Accumulation, DA),通过记录事件序列的初始偏差增强运动模式感知;
2. 设计循环运动提取模块(Recurrent Motion Extraction, RME),从局部和全局时间尺度提取运动特征;
3. 开发双向特征对齐与融合模块(Feature Alignment and Fusion, FAF),解决事件与图像模态不一致性问题。


三、研究方法与流程

1. 偏差累积(DA)事件表征
  • 原理:事件相机输出异步事件流(x, y, t, p),传统方法仅累加极性(p=±1)。DA方法额外记录每次事件更新时的初始时刻偏差(算法1),通过计算平均偏差变化(v = r/n)区分事件顺序(图3)。
  • 优势:DA可区分不同运动模式(如光强先升后降 vs. 先降后升),而传统极性累积(PA)会输出相同值(图3e)。
  • 实现:将曝光时间对称分割为多尺度(如t/2, t/3, t/6),生成6个事件帧输入网络。
2. 循环运动提取模块(RME)
  • 结构(图2a):采用循环机制,从长时尺度到短时尺度逐级处理事件特征(e1→e3)。每级通过卷积块(fex)提取当前尺度特征,并与上一级特征(fre)加权融合(公式7),参数共享以感知多尺度运动。
  • 功能:长时尺度捕捉全局慢运动,短时尺度定位局部快运动(图8)。
3. 双向特征对齐与融合模块(FAF)
  • 流程
    1. 对齐阶段(公式8-9):通过乘加操作将事件特征与图像特征双向对齐;
    2. 融合阶段(公式10):采用多头注意力机制(multi-head attention)双向查询(图2b),共享权重以减少模态差异。
  • 验证:t-SNE可视化显示对齐后特征分布重叠度显著提高(图9)。
4. 网络架构与训练
  • 整体框架(图2):编码器-解码器结构,图像分支使用Conv块提取特征,事件分支通过RME提取运动特征,FAF模块逐级融合。
  • 训练细节
    • 数据集:GoPro(合成)、HS-ERGB(半合成)、ReBlur(真实数据);
    • 优化:AdamW,初始学习率0.0001,PSNR损失函数;
    • 数据增强:随机翻转、添加噪声模拟真实事件。

四、主要结果

1. 定量评估
  • 性能对比(表1):在GoPro、HS-ERGB、ReBlur数据集上,DA方法PSNR分别提升0.61dB、0.25dB、0.35dB,优于所有对比方法(如EFNet、UFPNet+)。
  • 事件表征对比(表2):DA优于传统方法(如SCER、SBT),PSNR提升0.26dB。
2. 定性评估
  • 视觉效果(图4-6):DA方法减少边缘伪影(图7),在复杂运动场景中重建更清晰细节(如文字、纹理)。
  • 模块贡献
    • RME:提升多尺度运动感知(图8);
    • FAF:双向对齐使融合更鲁棒(表2)。

五、结论与价值

科学价值
1. 理论创新:DA事件表征首次引入绝对光强变化偏差,为事件数据建模提供新视角;
2. 方法创新:RME与FAF模块解决了多尺度运动感知与模态不一致性难题。

应用价值
1. 可应用于自动驾驶、无人机拍摄等动态场景的高质量图像重建;
2. 开源代码(GitHub)推动社区发展。


六、研究亮点

  1. DA事件表征:通过偏差累积区分运动模式,克服传统极性累积的模糊性;
  2. 多尺度运动建模:RME模块联合长短时特征,处理复合运动场景;
  3. 跨模态融合:FAF模块双向对齐,优于直接拼接或注意力融合。

七、其他贡献

  • 数据集验证:在合成、半合成及真实数据上均表现最优,证明方法泛化性;
  • 可扩展性:DA可嵌入其他网络(如HiNet+),PSNR提升1.92dB。

(报告总字数:约1500字)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com