这篇文档属于类型b:一篇关于3D Gaussian Splatting(3D高斯泼溅)技术最新进展的综述论文。以下是针对该论文的学术报告:
作者及机构
本文由Tong Wu、Yu-Jie Yuan、Ling-Xiao Zhang、Jie Yang(中国科学院计算技术研究所)、Yan-Pei Cao(腾讯AI Lab、VAST)、Ling-Qi Yan(加州大学圣巴巴拉分校)和Lin Gao(中国科学院计算技术研究所)共同完成,发表于2024年8月的《Computational Visual Media》期刊第10卷第4期。
主题
论文系统综述了3D Gaussian Splatting(3DGS)技术的最新进展。3DGS是一种通过高斯椭球体集合显式建模3D场景的技术,相比传统的Neural Radiance Fields(神经辐射场,NeRF)等隐式表示方法,其渲染速度更快(实时30 fps以上),且支持动态重建、几何编辑等下游任务。
3DGS源于传统的基于点的渲染技术(point-based rendering),但通过引入可优化的高斯椭球体(Gaussian ellipsoids)实现了显式场景表示。每个高斯椭球体包含位置、旋转、缩放、不透明度等属性,并通过投影公式(式2)将3D椭球体映射到2D图像平面。与NeRF相比,3DGS无需密集采样和神经网络查询,直接通过光栅化实现高效渲染。
支持证据:
- 引用Zwicker等2001年的表面泼溅(surface splatting)工作,说明3DGS对传统点渲染的改进。
- 对比NeRF的体渲染公式(式1)与3DGS的光栅化流程,突出后者在速度和显存占用上的优势(如Kerbl等2023年研究显示,3DGS在1080p分辨率下可达30 fps)。
论文总结了多种优化3DGS渲染质量的方案:
- 抗锯齿技术:如Mip-Splatting通过限制3D表示的频率并引入2D Mip滤波器(类似EWA-splatting)消除高频伪影;MS3DGS通过多尺度高斯选择解决混叠问题。
- 视角相关效果增强:VDGS用NeRF式神经网络替代球谐系数(Spherical Harmonics, SH)预测颜色;Scaffold-GS通过体素网格特征插值生成高斯属性。
- 几何一致性优化:GaussianPro通过法向一致性和平面约束指导高斯生长;GeoGaussian通过切平面稠密化提升几何平滑性。
支持数据:
- 表1显示,Scaffold-GS在MipNeRF 360数据集上PSNR达28.84,优于原始3DGS(27.21)。
动态3DGS的核心是建模高斯属性随时间的变化。论文分类讨论了以下方法:
- 显式建模:如Luiten等通过傅里叶级数拟合位置变化,结合光流损失提升时序连续性。
- 隐式变形场:Yang等采用MLP预测位置/旋转偏移,并添加高斯噪声平滑插值结果;4D-GS使用多分辨率六平面体素(hexplane voxels)编码时空信息。
- 混合表示:如GaussianFlow结合2D光流监督动态重建。
应用价值:
- 表3显示,动态3DGS方法(如GauFRE)在D-NeRF数据集上PSNR达34.80,显著优于NeRF-based方法(如D-NeRF的31.69)。
针对3DGS存储开销大的问题,论文列举了多种压缩技术:
- 向量量化:C3DGS采用残差向量量化(R-VQ)压缩几何属性;SAScGS通过敏感度感知K-means构建双码本。
- 网格化表示:SOGS将高斯属性排列为2D网格,利用JPEG XL压缩RGB数据。
数据支持:
- 表2显示,SOGS将场景大小压缩至18.2 MB(原3DGS为750 MB),但SSIM略有下降(0.763 vs. 0.815)。
论文详细探讨了3DGS在几何编辑、外观编辑和物理模拟中的应用:
- 几何编辑:GaussianEditor通过文本提示控制高斯语义追踪,支持物体移除和组合;Sugar通过网格参数化实现表面对齐的编辑。
- 外观编辑:Texture-GS通过UV映射解耦几何与纹理;GaussianShader引入BRDF分解实现高光反射表面渲染。
- 物理模拟:PhysGaussian将高斯粒子与连续介质力学结合,支持生成动力学模拟。
3DGS的高效性使其在多个领域展现潜力:
- SLAM:GS-SLAM通过自适应高斯扩展实现实时定位与建图(表4显示其PSNR达31.56,优于NeRF-based方法)。
- 数字人建模:如GaussianAvatar通过可变形4D高斯实现实时动态人体渲染(166 fps)。
- 3D生成:DreamGaussian结合Score Distillation Sampling(SDS)损失,将文本生成3D内容的效率提升至30分钟以内。
亮点
- 全面性:覆盖200余篇文献,按功能分类(图1)并绘制技术发展时间线(图2)。
- 前瞻性:提出3DGS与隐式表示(如SDF)结合的潜力,倡导混合表示以提升几何精度。
(注:全文约2000字,符合要求范围)