基于高效辐射场的极端运动模糊图像新视角合成方法：EXBLURF研究学术报告

作者及发表信息

本研究由首尔国立大学（Seoul National University）的Dongwoo Lee、Jeongtaek Oh、Kyoung Mu Lee团队与浦项科技大学（POSTECH）的Jaesung Rim、Sunghyun Cho合作完成，发表于计算机视觉领域顶级会议ICCV（International Conference on Computer Vision）。

学术背景

研究领域：本研究属于计算机视觉与三维重建交叉领域，聚焦于神经辐射场（Neural Radiance Fields, NeRF）在运动模糊图像中的优化问题。
研究动机：传统NeRF在清晰多视图图像上表现优异，但在低光照或相机抖动导致的运动模糊场景中，其重建质量显著下降。现有方法如Deblur-NeRF依赖2D像素级模糊核估计，难以处理极端运动模糊（如6自由度相机运动），且计算成本随模糊核尺寸剧增。
研究目标：提出EXBLURF框架，通过6自由度（6-DOF）相机轨迹建模模糊过程，结合体素化辐射场（voxel-based radiance fields），实现高效、高精度的模糊图像去模糊与新视角合成。

研究方法与流程

1. 运动模糊建模

核心创新：将模糊图像视为相机运动轨迹上连续子帧的辐射场累积结果。具体流程：
- 轨迹参数化：使用贝塞尔曲线（Bézier curve）建模6-DOF相机运动轨迹，通过控制点（control points）描述连续姿态变化。
- 模糊合成：对每个像素，沿轨迹采样n个子帧（如n=21），计算其对应光线的累积颜色，近似物理模糊过程（公式4）。

实验验证：在合成数据集（Blender生成）和真实数据集（EXBLURF数据集）中，验证轨迹估计的收敛性（图4显示估计轨迹与真实轨迹对齐）。

2. 体素化辐射场设计

替代方案：摒弃传统NeRF的MLP（多层感知机）结构，采用体素网格存储密度（σ）和球谐系数（SH coefficients），直接插值计算光线颜色（公式6）。
优势：
- 计算效率：体素插值避免MLP前向传播，内存占用与轨迹采样数n无关（表2：n=19时内存仅6.57GB，而Deblur-NeRF需49.09GB）。
- 优化策略：结合粗到细（coarse-to-fine）体素修剪与总变差正则化（total variation loss），提升几何一致性。

3. 损失函数与联合优化

损失组成：
- 颜色一致性损失（公式7）：最小化模糊合成图像与输入图像的MSE误差。
- 正则化项：体素密度的稀疏损失（sparsity loss）和球谐系数的平滑损失（TV loss），避免过拟合。
优化器：相机轨迹参数使用Adam优化器（学习率5×10⁻⁴），体素网格使用RMSprop。

主要结果

1. 去模糊性能

定量对比（表1）：
- PSNR指标：在EXBLURF数据集上，EXBLURF（30.17 dB）显著优于Deblur-NeRF（28.87 dB）及2D去模糊方法（如NAFNet+NeRF，26.03 dB）。
- 效率对比（图2）：训练时间减少10倍（4.41小时 vs. Deblur-NeRF的27.48小时），内存消耗降低85%。

定性对比（图5-6）：
- EXBLURF在极端模糊场景（如快速旋转运动）中恢复更清晰的纹理与几何细节，而Deblur-NeRF因2D核限制产生伪影。

2. 轨迹估计精度

绝对轨迹误差（ATE）（表5）：
- 在EXBLURF数据集上，ATE低至0.0019（对比COLMAP初始化的0.0146），证明模糊约束下的轨迹优化有效性。

结论与价值

科学价值：
1. 理论创新：首次将6-DOF相机轨迹物理模型引入NeRF框架，解决极端运动模糊的几何-辐射模糊问题。
2. 技术突破：体素化辐射场设计实现计算效率与质量的平衡，为实时动态场景重建提供新思路。

应用价值：
- 低光照摄影：适用于手机摄影、安防监控等场景的模糊图像三维重建。
- 虚拟现实：支持从模糊视频中生成高保真虚拟视角。

研究亮点

1. 跨模态建模：联合优化相机轨迹与辐射场，突破2D去模糊方法的视角不一致性限制。
   
2. 高效架构：体素化辐射场实现O(1)内存复杂度，克服MLP的O(n)瓶颈。
   
3. 数据集贡献：公开EXBLURF数据集，提供真实模糊-清晰图像对及GT运动轨迹，推动领域评测标准化。
   

其他价值

• 泛化性验证：在合成与真实数据上均表现鲁棒，证实方法对复杂运动的适应性。
  
• 开源潜力：基于CUDA的定制化体素渲染内核（custom CUDA kernel）可扩展至其他动态NeRF研究。