类型b
3D Gaussian Splatting (3D-GS) 技术综述：进展、应用与未来方向
作者包括 Ben Fei∗, Jingyi Xu∗, Rui Zhang∗, Qingyuan Zhou∗, Weidong Yang† 和 Ying He†，其中 Ben Fei、Jingyi Xu、Rui Zhang 和 Qingyuan Zhou 为共同第一作者，Weidong Yang 和 Ying He 为通讯作者。Ben Fei 等人隶属于复旦大学计算机科学学院，Ying He 隶属于新加坡南洋理工大学计算机科学与工程学院。本文发表于 IEEE Transactions on Visualization and Computer Graphics，并于 2024 年被接受。
这篇综述聚焦于 3D Gaussian Splatting (3D-GS) 技术，这是一种在计算机图形学领域中崭露头角的显式场景表示方法，能够实现无需神经网络（如 NeRF）支持的新视图合成。近年来，3D-GS 在机器人、城市建模、自动驾驶以及虚拟现实/增强现实等领域得到了广泛应用。鉴于该技术的快速发展和研究热度，本文旨在提供一份全面的综述，涵盖过去一年中的相关研究成果。文章通过分类整理现有文献，系统地介绍了 3D-GS 的理论基础及其在多个领域的应用。此外，本文还探讨了当前技术的局限性，并提出了未来研究的方向。
本文首先讨论了如何优化 3D-GS 的性能，包括渲染效率、真实感、成本降低以及物理动态表现等方面。
- 渲染效率：由于 3D-GS 中每个高斯分布都需要存储大量参数，因此内存占用是一个重要问题。Lu 等人提出了 Scaffold-GS 方法，通过构建稀疏网格来减少高斯分布的数量，同时保持渲染质量和速度。类似地，Fan 等人提出了 LightGaussian，通过八叉树算法压缩位置参数并以半精度格式保存其他属性，从而进一步降低内存需求。
- 真实感提升：为了提高渲染图像的质量，Yan 等人提出了一种多尺度方法，通过将小尺寸高斯分布聚合为大尺寸高斯分布，从而缓解了混叠效应。此外，Jiang 等人开发了 GaussianShader，通过引入简化的渲染方程近似来增强镜面反射效果。
- 成本降低：在有限视角输入的情况下，Chung 等人提出了一种深度正则化方法，通过结合稀疏和密集深度图来避免过拟合。Zhu 等人提出的 FSGS 方法则利用邻近图引导高斯分布的解池化操作，从而更有效地填充场景。
- 物理动态表现：针对动态场景的建模，Wu 等人提出了 4D-GS，通过时空编码器提取特征并预测高斯分布的变形，从而实现了实时动态场景渲染。
3D-GS 在静态和动态场景重建中均表现出色。
- 静态重建：Guédon 等人提出的 Sugar 方法通过正则化项促进高斯分布与场景表面的对齐，从而实现了高质量的网格重建。Chen 等人的 NeuSG 方法则结合了 NeRF 和 3D-GS 的优势，生成了具有复杂细节的表面模型。
- 动态重建：Lin 等人提出的 Gaussian-Flow 方法通过双域变形模型捕捉时间相关的残差，从而实现了快速动态室内场景重建。Yang 等人则利用变形场建模单目动态场景，显著提高了渲染速度和重建质量。
3D-GS 的显式性质使其在编辑和生成任务中具有显著优势。
- 操纵：Huang 等人提出的 Point’n Move 方法通过区域修复实现了交互式场景对象操纵。Shao 等人提出的 Control4D 方法则通过基于文本指令的编辑实现了动态 4D 场景的控制。
- 生成：Tang 等人提出的 DreamGaussian 方法通过逐步致密化 3D-GS 初始化过程，简化了优化景观并提高了生成效率。Ling 等人提出的 AYG 方法则扩展了 3D 合成到 4D 生成，通过引入变形场建模场景动态。
3D-GS 在感知任务中也展现了巨大潜力，特别是在检测、分割、跟踪和 SLAM 系统中。
- 检测：Shi 等人提出的语言嵌入 3D 高斯方法成功将紧凑语义特征整合到 3D-GS 中，显著降低了内存需求。
- 分割：Ye 等人提出的 Gaussian Grouping 方法通过身份编码实现了开放世界 3D 场景的同时重建和分割。
- 跟踪：Yan 等人提出的 StreetGaussian 方法通过动态球谐函数模型准确表示前景对象的运动。
- SLAM：Yan 等人提出的 GS-SLAM 方法通过自适应策略扩展 3D-GS，显著提高了地图优化和 RGB-D 重渲染速度。
3D-GS 在虚拟人类建模中也取得了重要进展。例如，Moreau 等人提出的 HUGS 方法通过线性混合蒙皮（LBS）实现了逼真的多视角人体动画。Li 等人则通过 2D CNN 提高了高保真虚拟化身的重建质量。
本文通过系统的分类和深入的分析，为研究人员提供了关于 3D-GS 的全面视角。文章不仅总结了现有技术的优缺点，还指出了未来研究的方向，包括如何更好地处理复杂几何结构、动态场景以及与其他表示方法的融合。此外，本文强调了 3D-GS 在实际应用中的潜力，如自动驾驶、医学成像和虚拟现实等领域的创新可能性。这篇综述为推动 3D-GS 技术的发展奠定了坚实的基础，同时也为跨学科研究提供了宝贵的参考。