类型b
3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities
作者：Yanqi Bao, Tianyu Ding, Jing Huo*, Yaoli Liu, Yuxin Li, Wenbin Li, Yang Gao (南京大学、微软公司、罗切斯特大学)，发表于《Journal of Latex Class Files》，2024年9月。本文探讨了3D高斯点云渲染（3D Gaussian Splatting, 3DGS）的技术发展、应用领域、挑战及未来研究方向。
本文旨在为初学者快速理解3DGS领域提供系统性综述，同时协助研究人员整理现有技术与挑战。作者从任务、技术、优化方法、应用场景和扩展方向等多个层面详细分析了3DGS的研究进展，并总结了九种技术模块及其改进方法，提出了该领域的核心挑战与潜在研究机会。
3DGS结合了神经隐式场（neural implicit field）和基于点的渲染方法的优点，能够实现高质量实时渲染（≥30帧/秒，1080p分辨率）。其显式表示形式使它在传统几何重建与神经隐式表示之间架起了桥梁，具有可微性和可控性，在计算机视觉任务中具有重要意义。
- 支持证据：3DGS通过EWA（Elliptical Weighted Average）Splatting方法将3D高斯点投影到2D图像平面，并使用α混合计算像素颜色，从而实现高效渲染。
- 子观点：相比NeRF（Neural Radiance Fields），3DGS解决了效率瓶颈问题，成为一种轻量级连续表示方法，适用于VR/AR沉浸式环境、机器人空间感知、城市规划和文化遗产数字化等领域。
3DGS的优化主要集中在存储效率、训练效率和渲染效率三个方面。
- 存储效率：由于3DGS需要数百万个高斯点来拟合场景几何和外观，存储开销巨大。现有研究通过矢量量化（Vector Quantization, VQ）技术压缩3DGS，例如Compact3D将不同属性压缩为四个码本以减少存储需求。然而，这些方法可能引入量化误差并对超参数配置敏感。
- 训练效率：DistWar提出了一种加速原子操作的技术，利用线程内局部性（intra-warp locality）实现SM子核寄存器级别的线程归约，平均性能提升2.44倍。
- 渲染效率：一些研究通过减少高斯点数量或预识别不必要的高斯点来提高渲染效率。例如，某硬件架构设计实现了比GPU快10.7倍的渲染速度。
3DGS已在多个领域得到广泛应用，包括人体重建、人工智能生成内容（AIGC）、自动驾驶等。
- 人体重建：
- 身体重建：大多数研究（如HUGS、GaussianAvatar）依赖SMPL或SMPL-X模型作为先验知识，但这些模型难以处理衣物和头发等外部特征。HUGS通过允许高斯点偏离初始网格来准确表示衣物和头发。
- 头部重建：Gaussian Head Avatar通过MLP直接预测高斯位移，避免了传统的线性操作，实现了高达2K分辨率的头部渲染。
- AIGC：
- 文本到3D对象：DreamGaussian通过提取显式网格表示并在UV空间中优化纹理，提高了生成模型的几何一致性。LucidDreamer解决了传统Score Distillation Sampling（SDS）中的过度平滑问题，采用确定性扩散轨迹和区间匹配机制，显著提升了生成质量。
- 图像到3D对象：Repaint123结合零样本学习和深度引导重绘技术，实现了从单张图像生成完整3DGS。
- 多对象与场景生成：CG3D通过概率图模型预测对象间关系，并结合重力和接触关系等先验知识，生成具有真实物理交互的模型。
- 自动驾驶：DrivingGaussian通过静态背景和动态目标的分离重建大规模驾驶场景，而StreetGaussians进一步整合语义属性和傅里叶变换，实现了高效的时空建模。
3DGS的扩展研究涵盖了动态场景、表面表示、可编辑性、重光照能力、语义理解和物理模拟等多个方面。
- 动态3DGS：Deformable3DGS和Realtime4DGS分别实现了多视图视频输入和单目视频输入的动态场景重建，达到了85.45 FPS和289.07 FPS的渲染速度。
- 表面表示：Sugar通过理想化的符号距离函数（Signed Distance Function, SDF）约束高斯表面对齐，实现了高效的网格提取。
- 可编辑性：GaussianEditor和GSedit通过Score Distillation Loss实现了语义控制的3DGS编辑，而Control4D则通过4D高斯平面分解实现了时空一致的动画控制。
- 重光照能力：GS3结合空间和角度高斯，通过三重Splatting过程建模几何和反射属性，支持全局光照和自阴影效果。
- 语义理解：Feature 3DGS通过联合3DGS和特征场实现了空间理解，支持下游任务的提示功能。
- 物理模拟：PhysGaussian通过材料点法（Material Point Method, MPM）求解器赋予3DGS物理属性，实现了“所见即所模拟”的理念。
尽管3DGS取得了显著进展，但仍面临以下核心挑战：
- 数据次优性：稀疏视图设置下的重建难度较大，现有方法通过深度数据或多视图扩散模型提供补充信息，但仍需解决3D一致性问题。
- 泛化能力：如何从参考图像直接推断高斯点属性并应用于目标视图渲染是当前研究的重点。
- 物理重建与渲染：复杂材料（如半透明体积和毛发）的建模仍需进一步探索。
- 真实感与效率平衡：如何在保证渲染质量的同时提升效率是未来研究的关键方向。
本文全面梳理了3DGS的技术发展现状，总结了其在多个领域的应用潜力，并指出了未来研究方向。3DGS作为一种新兴的3D表示方法，不仅推动了计算机图形学向轻量级连续表示的转变，还为虚拟现实、增强现实、自动驾驶等实际应用提供了技术支持。此外，本文提出的开放性问题和潜在研究机会为后续研究奠定了基础，具有重要的科学价值和应用前景。