本研究由Qing Guo(天津大学、南洋理工大学)、Wei Feng(天津大学)、Ruijun Gao(天津大学)、Yang Liu(南洋理工大学、浙江大学)和Song Wang(天津大学、南卡罗来纳大学)共同完成,发表于2021年的《IEEE Transactions on Image Processing》第30卷。该研究得到了中国国家自然科学基金(NSFC)多个项目的支持。
本研究属于计算机视觉领域,具体聚焦于视觉目标跟踪(visual object tracking)任务中运动模糊(motion blur)的影响问题。在现实场景中,相机抖动和物体运动导致的运动模糊不仅会降低视觉感知质量,还可能严重影响视频分析任务的性能。尽管近年来视觉跟踪器发展迅速,但运动模糊程度对跟踪性能的定量影响仍未得到充分研究。同时,虽然图像去模糊(image-deblurring)可以生成视觉上清晰的视频,但去模糊处理是否有利于视觉目标跟踪尚不明确。
研究团队旨在解决两个核心问题:1)不同程度的运动模糊如何定量影响跟踪器性能;2)图像去模糊处理是否及如何提升跟踪性能。为此,他们构建了一个全新的模糊视频跟踪基准(Blurred Video Tracking benchmark,BVT),包含100个场景的500个视频,每个场景包含5种不同模糊程度的视频序列。
研究团队首先收集了164个240fps的高帧率视频,经过筛选后保留100个视频。通过时间平均方法生成5种模糊程度的15fps视频(l∈{0,2,4,8,16}),其中l=0表示原始清晰视频,l值越大表示模糊程度越高。这种基于时间平均的模糊生成方法被称为”真实感”模糊(’realistic’ blur),相比基于模糊核的合成方法更能反映真实场景中的运动模糊特性。
数据集包含三个评价指标: 1) 成功率曲线下面积(AUC):衡量跟踪器在特定模糊子集上的准确性 2) 模糊鲁棒性曲线:展示跟踪器在5个模糊子集上的AUC变化 3) 归一化鲁棒性曲线(NRC):评估模糊对成功跟踪帧的影响
研究团队全面评估了4类共25种跟踪器: 1) 基于强度特征的跟踪器(如IVT、MBT等) 2) 基于HOG特征的跟踪器(如KCF、STRCF等) 3) 基于深度特征的跟踪器(如ECO、SiamRPN++等) 4) 混合特征跟踪器(如Staple-CA等)
评估发现两个重要现象: 1) 轻度运动模糊(l=2,4)可能提高多数跟踪器的准确性 2) 重度模糊(l=8,16)通常会损害跟踪性能
研究采用两种先进的去模糊方法(DeblurGAN和SRN)进行实验,比较了两种策略: 1) 全去模糊:对所有帧进行去模糊处理 2) 选择性去模糊:根据模糊程度选择性去模糊
实验结果表明: 1) 全去模糊会降低轻度模糊视频的跟踪准确性,但能提升重度模糊视频的性能 2) 选择性去模糊能显著提高跟踪性能,特别是在重度模糊情况下
研究团队提出了一种新颖的GAN-based跟踪方案: 1) 将预训练DeblurGAN的判别器(D)微调为自适应模糊评估器 2) 使用SVM分类器决定是否对当前帧进行去模糊处理 3) 该方案成功提升了6种先进跟踪器在运动模糊视频上的准确性
本研究得出三个主要结论: 1) 轻度运动模糊可能改善多数跟踪器的准确性,而重度模糊通常会损害性能 2) 去模糊处理有助于提升重度模糊视频的跟踪准确性,但会损害轻度模糊视频的性能 3) 基于选择性去模糊的方案能有效提升现有跟踪器对运动模糊的鲁棒性
科学价值: 1) 首次系统研究了运动模糊程度与跟踪性能的定量关系 2) 揭示了去模糊处理对跟踪任务的双面影响 3) 提出了基于GAN判别器的自适应模糊评估方法
应用价值: 1) 为开发模糊鲁棒跟踪器提供了指导原则 2) 提出的BVT基准将促进模糊鲁棒跟踪研究 3) 选择性去模糊方案可直接应用于现有跟踪系统
本研究为理解运动模糊对视觉跟踪的影响提供了系统性的实证基础,提出的解决方案兼顾了性能提升和计算效率,对推动鲁棒视觉跟踪系统的发展具有重要意义。