学术研究报告：DeferredGS——基于延迟着色的解耦可重光照高斯泼溅技术

一、作者与发表信息
本研究的核心作者包括Tong Wu（中国科学院计算技术研究所）、Jia-Mu Sun（中国科学院计算技术研究所）、Yu-Kun Lai（卡迪夫大学）、Yuewen Ma（字节跳动PICO）、Leif Kobbelt（亚琛工业大学）和Lin Gao（中国科学院计算技术研究所）。论文发表于2025年8月的《IEEE Transactions on Pattern Analysis and Machine Intelligence》（TPAMI），卷47第8期，论文标题为《DeferredGS: Decoupled and Relightable Gaussian Splatting with Deferred Shading》。

二、学术背景
本研究属于计算机图形学与计算机视觉交叉领域，聚焦于三维场景重建与编辑技术。传统神经辐射场（Neural Radiance Fields, NeRF）虽能实现高质量重建，但渲染效率低下；而高斯泼溅（Gaussian Splatting）通过光栅化高斯椭球体实现实时渲染，但其纹理与光照耦合的球形谐波（Spherical Harmonics, SH）模型限制了独立编辑能力。此前研究尝试解耦高斯泼溅的纹理与光照，但在反射场景中几何与分解结果不理想，且前向着色（Forward Shading）在重光照时易产生混合伪影。因此，本研究提出DeferredGS，通过延迟着色（Deferred Shading）技术实现解耦与重光照，并引入可学习环境光照与法向蒸馏模块以提升几何精度。

三、研究流程与方法
1. 高斯泼溅与纹理参数定义
- 基础框架沿用高斯泼溅，将场景表示为3D高斯椭球集合，属性包括位置、协方差、透明度等。
- 创新点：将球形谐波替换为可优化的纹理参数（漫反射反照率kd、粗糙度r、高光反照率ks），以实现纹理与光照解耦。

1. 法向场蒸馏模块

   • 问题：高斯泼溅的离散几何表示难以直接生成准确法向。
     
   • 解决方案：联合训练一个基于符号距离函数（Signed Distance Function, SDF）的Instant-RefNeus网络，通过多级哈希编码优化几何，并蒸馏其法向场至高斯泼溅表示。
     
   • 关键公式：法向一致性损失（公式3）约束高斯泼溅渲染的法向与SDF网络生成的法向一致。
     

2. 延迟着色技术

   • 前向着色问题：逐高斯计算着色后混合会导致重光照时的混合伪影。
     
   • 延迟着色流程：
     
     • 步骤1：光栅化几何与纹理属性（位置、法向、反照率等）至缓冲区（Buffer Maps）。
       
     • 步骤2：在像素级计算着色，结合可学习环境光照与迪士尼BRDF模型（公式5-7）。
       
   • 优势：避免几何属性对输入光照的过拟合，提升重光照鲁棒性。
     

3. 编辑应用

   • 重光照：替换环境光照贴图，通过延迟着色实时渲染新光照效果。
     
   • 几何编辑：基于SDF网络提取网格，通过ARAP（As-Rigid-As-Possible）变形算法驱动高斯椭球体变形。
     
   • 纹理编辑：通过多视角渲染优化纹理参数，支持漫反射与高光组件的交互式修改。
     

四、主要结果
1. 新视角合成
- 在NeRF Synthetic和Shiny Blender数据集上，DeferredGS的PSNR、SSIM指标优于NerFactor、TensoIR等基线方法（表I），尤其在反射场景中细节保留更佳（图3）。

1. 解耦效果

   • 法向与漫反射反照率分解质量显著提升（图4），法向MSE误差降低30%以上（表II）。
     
   • 消融实验证明：法向蒸馏模块使分解结果更接近真实几何（图7）。
     

2. 重光照与编辑

   • 延迟着色有效消除前向着色的混合伪影（图8），支持复杂光照条件下的实时渲染（30fps@800×800分辨率）。
     
   • 编辑案例（图6）展示几何变形与纹理修改的灵活性，如物体移除、材质替换等。
     

五、结论与价值
1. 科学价值
- 首次将延迟着色引入高斯泼溅，解决了前向着色的混合伪影问题。
- 法向蒸馏模块为离散高斯表示提供了连续的几何先验，提升了解耦精度。

1. 应用价值
   
   • 为影视特效、虚拟现实等领域的实时场景编辑提供了新工具。
     
   • 开源实现（补充材料）推动社区在可编辑神经渲染方向的发展。
     

六、研究亮点
1. 方法创新：延迟着色与法向蒸馏的结合是核心突破，首次实现高斯泼溅的高质量解耦与重光照。
2. 技术指标：在保持实时渲染（30fps）的同时，分解质量优于现有方法（表II）。
3. 跨领域意义：为基于物理的渲染（Physically-Based Rendering, PBR）与神经渲染的融合提供了新范式。

七、其他价值
- 局限性：阴影处理仍依赖环境光照，未来可结合多光照条件数据优化（图10）。
- 扩展性：纹理编辑模块支持与扩散模型（Diffusion Models）结合，有望实现文本驱动的场景生成。

（注：全文术语首次出现均标注英文，如“延迟着色（Deferred Shading）”）