类型b

基于三维高斯溅射技术的可微分渲染研究进展综述

本文由南京大学智能科学与技术学院的高建、陈林卓和姚遥，以及南京大学电子科学与工程学院的沈秋和曹汛共同撰写，发表于《激光与光电子学进展》（*Laser & Optoelectronics Progress*），网络首发日期为2024年7月12日。文章的主题是探讨基于三维高斯溅射技术（3D Gaussian Splatting, 3DGS）的可微分渲染（Differentiable Rendering）领域的最新研究进展及其应用前景。

研究背景与意义

近年来，随着计算机视觉和图形学的发展，如何高效地重建三维场景信息成为核心挑战之一。传统的三维重建方法如运动恢复结构（Structure from Motion, SfM）和多视图立体匹配（Multi-View Stereo, MVS）依赖于朗伯体假设，存在一定的局限性。而神经辐射场（Neural Radiance Field, NeRF）作为可微分渲染领域的重要里程碑，虽然在高真实感新视角合成方面取得了突破性进展，但其隐式表达不直观、训练效率低等问题限制了其进一步发展。在此背景下，三维高斯溅射技术（3DGS）应运而生。3DGS通过显式的点云表达和高度并行化的可微分光栅化管线，解决了NeRF的痛点，显著提升了训练速度和渲染效率，并提供了更高的场景控制性。因此，3DGS技术被视为可微分渲染领域的一次革命性变革。

主要内容与观点

1. 三维高斯溅射技术的基本原理

3DGS将三维场景中的辐射场定义在离散的三维高斯点云上，每个点被表达为独立的三维高斯分布，其数学表述包括均值和协方差矩阵。此外，每个高斯点还赋予了不透明度和颜色值，用于表达场景的辐射场。为了模拟颜色随观察视角变换的特性，3DGS采用球谐系数（Spherical Harmonics, SHs）进行建模。渲染过程中，3DGS使用物序法将高斯点投影到影像平面上，通过椭圆加权平均（Elliptical Weighted Average, EWA）技术实现二维高斯分布的叠加混合，最终合成影像。此外，3DGS还引入了自适应密度控制策略，通过增稠或分裂高斯点来优化渲染质量。

2. 渲染质量优化

尽管3DGS已经能够生成高质量的新视角合成结果，但其在不同分辨率下的渲染可能会出现模糊或锯齿现象，即“混叠”问题。为此，研究者提出了一系列改进方案： - 模块优化：O-GS提出了一种最优的投影方式，将高斯点投影到单位球的切平面上以消除伪影；GaussianPro引入渐进传播策略，为密度控制提供准确的几何信息；MiniSplatting通过简化策略减少高斯点的数量，从而提高模型效率。 - 抗锯齿技术：Mip-Splatting通过3D平滑滤波器和2D Mip滤波器减轻混叠现象；Analytic-Splatting通过计算像素内的高斯分布积分提升抗混叠能力；MS-3DGS提出多尺度渲染策略，在不同分辨率下使用不同尺度的高斯点。

3. 几何与材质提取

从3DGS中提取表面网格和材质属性是该技术的重要应用方向之一。Sugar首次实现了从3DGS场景中提取表面网格，并通过泊松重建生成网格；Mesh-GS采用基于网格的表达方式，实现交互式形变；Relightable 3D Gaussian则结合广义指数函数和光线追踪技术，支持场景重光照和编辑。此外，研究者还尝试将3DGS与逆向渲染结合，以提取场景的光照和材质属性。例如，GS-IR通过深度图监督学习法线，并利用遮挡信息优化光照建模。

4. 复杂场景重建

复杂场景重建是3DGS技术的重要应用场景之一，主要包括动态场景重建、大场景重建和稀疏视角重建： - 动态场景重建：4DGS和Control4D分别使用Tri-Plane和HexPlane编码空间特征，并通过多层感知机（MLP）解码高斯点的运动变化；DynMF采用多项式模型预测高斯点的运动，显著提升了动态场景的重建效率。 - 大场景重建：Fed3DGS结合联邦学习实现可扩展的三维重建框架；CityGaussian采用分治策略实现多层次细节（Level-of-Detail, LOD）渲染；VastGaussian通过渐进式分割策略处理大场景中的曝光不一致问题。 - 稀疏视角重建：SparseGS通过引入深度监督和生成网络约束，减少了对输入图片数量的依赖；Cor-GS通过协同修剪点云抑制两个辐射场之间的不一致，提高了稀疏视角下的重建质量。

研究意义与价值

本文全面回顾了3DGS技术在可微分渲染领域的最新研究成果，展示了其在新视角渲染、动态场景重建等任务中的广泛应用前景。3DGS技术不仅显著提升了训练速度和渲染效率，还为场景控制提供了更高的灵活性。此外，3DGS技术与其他先进技术（如生成式扩散模型）的融合，有望进一步提升复杂场景的重建质量和外推能力。未来，3DGS技术还有可能与传统渲染管线相结合，广泛应用于三维实景、数字文物和元宇宙等领域，为相关行业提供强大的技术支持。

研究亮点

1. 技术革新：3DGS通过显式的点云表达和高度并行化的可微分光栅化管线，解决了NeRF的痛点，显著提升了渲染效率。
2. 应用广泛：3DGS技术在动态场景重建、大场景重建和稀疏视角重建等多个领域展现了卓越性能。
3. 方法多样性：研究者提出了多种改进方案，包括模块优化、抗锯齿技术和几何材质提取方法，进一步提升了3DGS的应用价值。

本文为读者提供了关于3DGS技术的全面视角，激发了对可微分渲染技术的深入探索，并为未来技术的发展提供了有益启示。