类型a

主要作者与研究机构及发表信息
本文的主要作者包括郭志阳（Zhiyang Guo）、周文刚（Wengang Zhou）、李力（Li Li）、王敏（Min Wang）和李厚强（Houqiang Li），他们分别隶属于中国科学技术大学脑启发智能感知与认知重点实验室以及合肥综合性国家科学中心人工智能研究院。该研究于2024年11月被《IEEE Transactions on Circuits and Systems for Video Technology》期刊接收并发表。

学术背景
本研究属于计算机视觉与3D场景重建领域，专注于动态场景重建（dynamic scene reconstruction）。近年来，静态场景建模取得了显著进展，但动态场景的重建仍然面临诸多挑战，例如运动复杂性、拓扑变化以及空间或时间上稀疏的观测数据。传统的神经辐射场（NeRF）方法虽然在视觉质量上表现优异，但其高昂的计算成本限制了实际应用。最近，3D高斯点云（3D Gaussian Splatting, 3DGS）作为一种新兴技术因其高效性和实时渲染能力受到广泛关注。然而，现有方法在将3DGS扩展到动态场景时，往往忽略了2D观测中隐含的丰富运动信息，导致性能下降和模型冗余。为此，本研究提出了一种基于运动感知（motion-aware）的增强框架，旨在通过利用光流（optical flow）先验来改进动态3DGS的建模效果。

研究工作流程
本研究的工作流程分为以下几个主要步骤：

1. 跨维度运动对应关系的建立
   研究首先从3D高斯点的运动与像素级光流之间的对应关系入手。具体而言，研究团队通过深度图反投影找到每个像素对应的3D位置，并在其周围搜索k个最近的高斯点作为前景候选。为了提高效率，研究采用“软选择”操作，即对所有k个候选点同时施加影响，而非仅选择贡献最大的一个。通过重新投影这些高斯点的运动到2D图像平面，研究建立了密集的跨维度运动对应关系。

2. 光流增强策略
   在建立运动对应关系的基础上，研究引入了不确定性感知的光流增强策略。具体来说，研究使用KL散度（Kullback-Leibler Divergence）作为损失函数，以处理光流预测中的不确定性问题。此外，研究还设计了一个在线光流库（flow bank），用于存储高质量帧的光流信息，从而实现更长时间跨度的光流监督。

3. 瞬态感知变形辅助模块
   针对基于变形场（deformation-based）的动态3DGS范式，研究提出了一种瞬态感知变形辅助模块（transient-aware deformation auxiliary module）。该模块通过引入瞬时速度信息来解决运动模糊问题。具体而言，研究设计了一个速度场（velocity field），将时间相关的特征解码为3D瞬时速度，并将其与光流对齐。

4. 优化流程
   研究采用端到端的优化方式，针对不同的动态3DGS范式设计了相应的损失函数。对于迭代范式（iterative paradigm），研究引入了动态感知的颜色损失和物理损失；对于超维范式（hyper-dimensional paradigm），研究去除了物理损失；而对于变形场范式（deformation-based paradigm），研究则进一步升级了光流损失。

主要结果
1. 跨维度运动对应关系的效果
实验表明，研究提出的跨维度运动对应关系能够有效减少3D高斯点的冗余运动。例如，在单目场景中，基线方法往往会生成大量逃逸出图像平面的高斯点，而本研究的方法通过动态约束自然抑制了高斯点的增长。

1. 光流增强策略的效果
   通过引入不确定性感知的光流损失和在线光流库，研究显著提高了动态场景建模的精度。实验结果显示，与基线方法相比，本研究在PSNR、SSIM和LPIPS等指标上均有显著提升。

2. 瞬态感知变形辅助模块的效果
   在基于变形场的范式中，瞬态感知变形辅助模块显著改善了运动模糊问题。例如，在HyperNeRF数据集上的实验表明，本研究方法在动态区域的细节表现更为清晰，边缘更加锐利。

3. 整体性能对比
   在多个数据集上的实验结果表明，本研究方法在多视图和单目场景中均优于现有基线方法。例如，在PanopticSports数据集上，本研究方法的PSNR提升了约0.8，而在Neu3DV数据集上，其性能也显著优于4D-GS和Spacetime-GS等方法。

结论与意义
本研究提出了一种基于运动感知的3D高斯点云增强框架，为动态场景重建提供了高效的解决方案。研究的主要贡献在于：
1. 系统探索了光流先验在3DGS中的有效利用方式；
2. 提出了不确定性感知的光流增强策略和瞬态感知变形辅助模块，显著提升了动态3DGS的建模能力；
3. 在多视图和单目场景中均实现了更高的渲染质量和效率。

本研究不仅在理论上推动了动态3DGS的发展，还具有广泛的应用价值。例如，它可用于虚拟现实、增强现实以及3D动画制作等领域，为实时动态场景重建提供了技术支持。

研究亮点
1. 创新性方法：研究首次将光流先验与3DGS相结合，提出了跨维度运动对应关系和不确定性感知的光流损失。
2. 高效性：本研究方法在不增加渲染开销的情况下，显著减少了高斯点的数量和冗余运动。
3. 鲁棒性：研究提出的在线光流库和瞬态感知变形辅助模块增强了模型在稀疏视图条件下的鲁棒性。

其他有价值内容
研究还探讨了运动模糊对动态建模的影响，并指出未来研究可尝试显式建模曝光时间内的运动模糊过程，以进一步提高动态场景重建的精度。