基于三重高斯溅射的高效重光照技术：GS³ 的创新与突破
作者及机构
本研究的核心团队来自浙江大学计算机辅助设计与图形学国家重点实验室（State Key Lab of CAD&CG, Zhejiang University, China），主要作者包括Zoubin Bi、Yixin Zeng、Chong Zeng、Fan Pei、Xiang Feng、Kun Zhou和Hongzhi Wu。该研究以《gs3: efficient relighting with triple gaussian splatting》为题，发表于2024年12月的SIGGRAPH Asia 2024 Conference Papers（会议论文），并获ACM收录。
学术背景
科学领域与问题背景
在计算机图形学与计算机视觉领域，如何在虚拟环境中逼真还原物体在不同光照和视角下的外观是一个长期挑战。传统方法（如3D表面网格和参数化SVBRDF）难以联合优化几何与外观，而近年兴起的神经辐射场（NeRF）虽在视角合成上表现优异，但存在训练成本高、渲染速度慢的瓶颈。3D高斯溅射（3D Gaussian Splatting, GS）虽提升了效率，但难以处理复杂材质（如各向异性反射）和动态光照下的阴影效果。
研究目标
GS³旨在提出一种基于空间与角度高斯（spatial and angular gaussians）的表示方法，结合三重溅射流程（triple splatting process），实现从多视角单点光源（OLAT）输入图像（500-2000张）中高效重建复杂几何与外观，支持实时（90 FPS）高质量的新光照-视角合成。
工作流程详解
1. 空间与角度高斯的联合建模
- 几何表示：使用各向异性3D高斯（spatial gaussians）描述物体形状，每个高斯包含中心位置（μ）、协方差矩阵（σ）、不透明度（γ）和颜色（c）。
- 外观函数：替换传统球谐函数（SH），采用Lambertian漫反射与混合角度高斯（angular gaussians）的组合。角度高斯通过修改各向异性球面高斯（anisotropic spherical gaussians）模型，支持微表面法线分布建模（首次溅射）。
2. 阴影计算（二次溅射）
- 阴影溅射（shadow splatting）：将所有空间高斯向光源投影，通过累积不透明度计算阴影值，并利用小型MLP（3层Leaky ReLU）优化阴影质量。此过程复用GS的高性能光栅化管线，避免昂贵的射线追踪。
- 关键创新：引入加权平均阴影值（T = ∑βₘTₘ / ∑βₘ）和阴影偏置（0.015），缓解“Z-fighting”问题。
3. 全局光照补偿（三次溅射）
- 残差MLP：通过另一MLP（ψ）预测未建模的光传输效应（如间接光照），输出每个空间高斯的RGB三元组，最终与阴影图像叠加生成结果。
数据与训练
- 输入数据：支持合成渲染图像（如NeRF）、手持相机+闪光灯拍摄照片、专业光舞台（lightstage）数据。
- 训练策略：两阶段优化——先仅训练漫反射部分（15k次迭代），再引入高光项（共100k次迭代），使用Adam优化器（学习率动态调整）。
主要结果
1. 高质量重建：在30个样本（几何从固体到绒毛，外观从半透明到各向异性）中，GS³的SSIM平均达0.95以上，PSNR超过30 dB，显著优于NeRF-based方法（如NRHints）和传统GS扩展方法（图9-12）。
2. 实时性能：单GPU训练时间40-70分钟，渲染速度90 FPS，比NRHints（15小时训练， FPS）效率提升两个数量级。
3. 阴影与高光细节：通过阴影溅射和角度高斯混合，精准还原各向异性高光（如金属鼓）和自阴影（如乐高复杂遮挡），而现有方法（如GaussianShader）因依赖表面法线先验无法处理模糊几何。
结论与价值
科学价值
- 理论创新：首次将角度高斯引入GS框架，解决复杂材质建模问题；三重溅射流程为动态光照下的实时渲染提供了新范式。
- 技术突破：阴影溅射和残差MLP的联合设计，在无需显式几何正则化的情况下实现高质量阴影与全局光照。
应用价值
- 文化遗产与电商：支持低成本（智能手机+闪光灯）采集高保真数字资产。
- 影视特效：兼容专业光舞台数据，适用于高精度虚拟制作。
研究亮点
1. 三重溅射流程：首次将空间高斯、阴影溅射和残差补偿分阶段融合，兼顾效率与质量。
2. 通用性：处理从刚性物体到毛发、从漫反射到各向异性的广泛材质，无需特殊先验（如表面法线）。
3. 开源生态：代码与数据公开（https://gsrelight.github.io/），推动社区发展。
局限与展望
当前版本对透明材质（如玻璃）支持有限，未来可通过显式折射建模扩展；阴影锐度在极端光照下可能不足，需进一步优化高斯密度控制算法。