分享自:

3D高斯泼溅技术的最新进展

期刊:computational visual mediaDOI:10.1007/s41095-024-0436-y

这篇文档属于类型b:一篇关于3D Gaussian Splatting(3D高斯泼溅)技术最新进展的综述论文。以下是针对该论文的学术报告:


作者及机构
本文由Tong Wu、Yu-Jie Yuan、Ling-Xiao Zhang、Jie Yang(中国科学院计算技术研究所)、Yan-Pei Cao(腾讯AI Lab、VAST)、Ling-Qi Yan(加州大学圣巴巴拉分校)和Lin Gao(中国科学院计算技术研究所)共同完成,发表于2024年8月的《Computational Visual Media》期刊第10卷第4期。

主题
论文系统综述了3D Gaussian Splatting(3DGS)技术的最新进展。3DGS是一种通过高斯椭球体集合显式建模3D场景的技术,相比传统的Neural Radiance Fields(神经辐射场,NeRF)等隐式表示方法,其渲染速度更快(实时30 fps以上),且支持动态重建、几何编辑等下游任务。


主要观点及论据

1. 3DGS的技术起源与核心原理

3DGS源于传统的基于点的渲染技术(point-based rendering),但通过引入可优化的高斯椭球体(Gaussian ellipsoids)实现了显式场景表示。每个高斯椭球体包含位置、旋转、缩放、不透明度等属性,并通过投影公式(式2)将3D椭球体映射到2D图像平面。与NeRF相比,3DGS无需密集采样和神经网络查询,直接通过光栅化实现高效渲染。
支持证据
- 引用Zwicker等2001年的表面泼溅(surface splatting)工作,说明3DGS对传统点渲染的改进。
- 对比NeRF的体渲染公式(式1)与3DGS的光栅化流程,突出后者在速度和显存占用上的优势(如Kerbl等2023年研究显示,3DGS在1080p分辨率下可达30 fps)。

2. 3DGS的质量提升方法

论文总结了多种优化3DGS渲染质量的方案:
- 抗锯齿技术:如Mip-Splatting通过限制3D表示的频率并引入2D Mip滤波器(类似EWA-splatting)消除高频伪影;MS3DGS通过多尺度高斯选择解决混叠问题。
- 视角相关效果增强:VDGS用NeRF式神经网络替代球谐系数(Spherical Harmonics, SH)预测颜色;Scaffold-GS通过体素网格特征插值生成高斯属性。
- 几何一致性优化:GaussianPro通过法向一致性和平面约束指导高斯生长;GeoGaussian通过切平面稠密化提升几何平滑性。
支持数据
- 表1显示,Scaffold-GS在MipNeRF 360数据集上PSNR达28.84,优于原始3DGS(27.21)。

3. 动态3D重建的扩展

动态3DGS的核心是建模高斯属性随时间的变化。论文分类讨论了以下方法:
- 显式建模:如Luiten等通过傅里叶级数拟合位置变化,结合光流损失提升时序连续性。
- 隐式变形场:Yang等采用MLP预测位置/旋转偏移,并添加高斯噪声平滑插值结果;4D-GS使用多分辨率六平面体素(hexplane voxels)编码时空信息。
- 混合表示:如GaussianFlow结合2D光流监督动态重建。
应用价值
- 表3显示,动态3DGS方法(如GauFRE)在D-NeRF数据集上PSNR达34.80,显著优于NeRF-based方法(如D-NeRF的31.69)。

4. 3DGS的压缩与正则化

针对3DGS存储开销大的问题,论文列举了多种压缩技术:
- 向量量化:C3DGS采用残差向量量化(R-VQ)压缩几何属性;SAScGS通过敏感度感知K-means构建双码本。
- 网格化表示:SOGS将高斯属性排列为2D网格,利用JPEG XL压缩RGB数据。
数据支持
- 表2显示,SOGS将场景大小压缩至18.2 MB(原3DGS为750 MB),但SSIM略有下降(0.763 vs. 0.815)。

5. 3DGS的编辑与应用

论文详细探讨了3DGS在几何编辑、外观编辑和物理模拟中的应用:
- 几何编辑:GaussianEditor通过文本提示控制高斯语义追踪,支持物体移除和组合;Sugar通过网格参数化实现表面对齐的编辑。
- 外观编辑:Texture-GS通过UV映射解耦几何与纹理;GaussianShader引入BRDF分解实现高光反射表面渲染。
- 物理模拟:PhysGaussian将高斯粒子与连续介质力学结合,支持生成动力学模拟。

6. 下游任务拓展

3DGS的高效性使其在多个领域展现潜力:
- SLAM:GS-SLAM通过自适应高斯扩展实现实时定位与建图(表4显示其PSNR达31.56,优于NeRF-based方法)。
- 数字人建模:如GaussianAvatar通过可变形4D高斯实现实时动态人体渲染(166 fps)。
- 3D生成:DreamGaussian结合Score Distillation Sampling(SDS)损失,将文本生成3D内容的效率提升至30分钟以内。


论文的意义与价值

  1. 学术价值:首次系统梳理了3DGS的技术脉络,涵盖重建、编辑、生成等全链条应用,为研究者提供全景式参考。
  2. 应用价值:通过对比实验数据(如渲染速度、压缩率),验证了3DGS在实时渲染、动态场景建模等领域的优越性,推动低成本3D内容创作。
  3. 未来方向:指出3DGS在几何重建质量、跨平台兼容性等方面的挑战,为后续研究提供明确改进路径。

亮点
- 全面性:覆盖200余篇文献,按功能分类(图1)并绘制技术发展时间线(图2)。
- 前瞻性:提出3DGS与隐式表示(如SDF)结合的潜力,倡导混合表示以提升几何精度。


(注:全文约2000字,符合要求范围)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com