这篇文档介绍了由Letian Huang（南京大学）、Dongwei Ye（南京大学）、Jialin Dan（南京大学）、Chengzhi Tao（南京大学）、Huiwen Liu（南开大学）、Kun Zhou（浙江大学及杭州全息智能技术研究院）、Bo Ren（南开大学）、Yuanqi Li（南京大学）、Yanwen Guo（南京大学）及Jie Guo（南京大学）共同完成的一项原创性研究工作。该研究以论文《TransparentGS: Fast Inverse Rendering of Transparent Objects with Gaussians》的形式，发表于2025年8月的ACM Transactions on Graphics (ToG)期刊第44卷第4期，是一篇关于计算机图形学和计算机视觉领域透明物体逆渲染的前沿研究。

该研究的学术背景源于近年来基于神经辐射场（Neural Radiance Field, NeRF）和三维高斯泼溅（3D Gaussian Splatting, 3D-GS）的技术在三维场景重建和新视角合成方面取得的巨大进展。然而，对于具有镜面反射和折射的透明物体，现有的方法仍面临严峻挑战。NeRF类方法通常需要大量计算时间，难以实现实时渲染；而新兴的高效3D-GS方法虽然速度快，但其基于光栅化的本质使其难以处理由折射和反射引起的次级光线效应，特别是当透明物体周围存在复杂近邻物体时，光线路径的计算变得异常困难。现有方法要么无法准确建模来自环境光和近邻物体的间接光，要么在重建质量、细节还原和运算效率之间存在显著权衡。因此，研究团队旨在开发一个能够快速、高质量地重建透明物体，并支持实时新视角合成、材质编辑等应用的逆渲染框架，以填补这一技术空白。

研究的详细工作流程可以分为几个核心部分。首先，研究团队提出了一种名为“透明高斯图元”的新型表示方法。传统的3D-GS使用球谐函数编码视角相关的颜色，这对于高频的镜面效果建模能力不足。透明高斯图元在保留原始3D-GS几何参数（如位置、协方差、不透明度）的基础上，额外编码了表面几何属性（法线）和材质属性（粗糙度、金属度、透明度、折射率）。这种显式表示使得后续的物理渲染成为可能。更重要的是，团队提出了一种“延迟折射”策略。传统的“前向着色”会先计算每个高斯图元的折射颜色再进行混合，导致高频细节丢失。而“延迟折射”则先将所有沿视线的透明高斯图元进行不透明度混合，得到聚合后的命中点、法线等属性（存储于G-buffer中），再用这些聚合属性计算单次的折射光线方向，并查询光照信息。这种方法能更好地保持镜面折射的锐利细节。

其次，为了准确获取并查询复杂环境中的光照（包括远处的环境光和来自近邻物体的间接光），研究团队创新性地提出了“高斯光场探针”。具体流程是：第一步，使用原始3D-GS重建移除透明物体后的周围场景。第二步，在透明物体周围的包围盒空间内，以体素化的方式放置一系列虚拟相机（探针）。第三步，针对每个探针，采用一种“最优投影”策略，将3D高斯图元投影到一个单位球的切平面上，而非传统图像平面，从而高效地烘焙出360度的全景彩色图和深度图。每个探针存储的这张全景图，实际上编码了该探针位置所能“看到”的整个场景的光场和几何信息。

第三，为了解决使用多个探针查询光线时产生的视差误差问题，团队设计了一种“基于深度的迭代探针查询算法”。当需要计算一条折射或反射光线所对应的颜色时，传统方法是直接使用该光线方向查询所有探针并取平均，结果会导致模糊。IterQuery算法的核心思想是迭代更新每个探针的查询方向。算法初始化时，所有探针都沿着原始光线方向查询，得到一组初始的深度值（即探针光线与场景表面的交点）。然后，算法根据这些深度值，估算出原始查询光线与场景最可能的交点位置。接着，用这个估算的交点位置反推出每个探针更准确的查询方向（指向该交点），并用新方向再次查询。经过数次迭代后，各探针的查询方向会收敛到能更精确反映光线与场景真实交点的状态，从而极大地减轻视差带来的模糊，获得高质量的反射和折射细节。

第四，研究采用了一种多阶段的重建与优化策略。阶段一：分割并重建环境，烘焙高斯光场探针。利用SAM2和GroundingDINO模型，根据文本提示从RGB图像中分割出透明物体，从而将场景分为透明物体和不透明环境两部分。环境部分用3D-GS重建并烘焙为探针。阶段二：重建透明物体的几何与材质。使用提出的透明高斯图元，在物理基础的延迟渲染管线中进行优化。光照计算通过查询第一阶段烘焙的GaussProbe来完成。为了更精确地处理物体内部的次级光线（如二次折射），团队还引入了一种网格与高斯表示的统一策略：用优化后的透明高斯图元渲染的命中点和法线图，来指导一个有符号距离场的采样和优化，进而通过移动立方体算法提取出显式网格；反过来，这个提取的网格又作为代理，用于快速、准确地追踪内部的次级光线路径，辅助更精确的光照查询。整个优化过程的损失函数结合了L1损失、D-SSIM损失、法线一致性正则项和分割掩码损失。

该研究的主要结果通过定量和定性实验得到了充分验证。在定量方面，研究在多个真实捕获和合成的数据集上进行了评测。对于无色透明物体（如Glass, Halfball, Apple），在PSNR、SSIM和LPIPS指标上，TransparentGS均达到或超过了Eikonal、Nu-NeRF、GShader等基线方法，尤其在衡量感知质量的LPIPS指标上优势明显。对于有色透明物体（如Penguin, Dolphin），TransparentGS能够有效解耦折射光与物体自身颜色，而基线方法Nu-NeRF的结果则是耦合的。在合成数据集上，TransparentGS在新视角合成、法向重建精度以及反射、折射、基底颜色各分量的解耦质量上均显著优于对比方法。定性结果更直观地展示了其优势：TransparentGS能够重建出高度清晰的镜面反射和折射细节，精确还原近邻物体在透明体表面产生的复杂互反射现象，而对比方法（如Nu-NeRF）的结果往往较为模糊或存在 artifacts。研究还对提出的核心组件进行了消融实验，证实了“延迟折射”策略对保持高频细节的关键作用，以及“迭代探针查询算法”对于消除模糊、提升质量的必要性。性能分析显示，TransparentGS能在1小时内完成透明物体的高质量重建，并支持实时（31-51 FPS）的新视角合成和重渲染，速度比需要数小时甚至数十小时的NeRF类方法快数个数量级。

基于以上结果，研究的结论是，TransparentGS成功地为透明物体的逆渲染提供了一个既快速又高质量的解决方案。其主要贡献在于：1）设计了透明高斯图元，结合延迟折射策略，实现了对镜面折射的高效、细节化建模；2）提出了高斯光场探针，在一个统一框架内编码了环境光和近邻物体的间接光；3）开发了迭代探针查询算法，有效缓解了探针查询中的视差问题。该框架首次实现了在一小时内完成具有复杂次级光线效应的透明物体快速逆渲染，为实现包含多种物体（漫反射、光泽、透明）的复杂场景的实时合成、导航与编辑铺平了道路。

这项研究的亮点突出体现在几个方面：首先是方法的新颖性与高效性，创造性将3D-GS扩展到透明物体逆渲染这一难题，并引入了延迟渲染思想和光场探针表示，在保证质量的前提下实现了效率的飞跃。其次是效果的优越性，能够处理传统方法难以应对的、带有复杂近邻物体间接光照的透明场景，并高质量地解耦反射、折射及物体自身属性。最后是应用的广泛性，研究展示了该方法在材质编辑、场景重组、非针孔相机渲染等多个图形学应用上的潜力，显示了其强大的实用价值。

此外，研究也坦诚讨论了其局限性。例如，方法目前对光线路径的建模假设了特定的折射次数，对于具有更复杂内部结构（如空心、严重自遮挡）的透明物体可能面临挑战。同时，重建质量依赖于对环境完整性的捕捉，不可见部分的环境可能影响重建。研究还指出，当前方法主要关注透明物体对外部光照的响应，而非其对外部环境产生的效应（如焦散），这是未来可以探索的方向。尽管如此，TransparentGS无疑为透明物体重建和逆渲染领域带来了重要的突破，推动了实时、高质量神经渲染与物理渲染的融合。