本项目由浙江大学CAD&CG国家重点实验室的郑传坤、霍雨池*、黄鸿翔、盛洪涛、香港城市大学的黄俊荣、Manycore Inc.的唐睿和朱浩，以及浙江大学CAD&CG国家重点实验室的王瑞*和鲍虎军*合作完成，研究成果发表于ACM SIGGRAPH Asia 2024会议论文集(SA Conference Papers ‘24)。
在计算机图形学领域，动态场景下复杂全局光照的实时渲染一直是一个长期存在的挑战问题。全局光照(Global Illumination)能够提供基于物理的渲染所需的光照真实感，而传统的蒙特卡洛路径追踪(Monte Carlo Path Tracing)算法虽然能够精确计算全局光照效果，但计算成本极高，通常需要数分钟至数小时才能渲染一帧画面。近年来，神经渲染(Neural Rendering)技术为实时/交互式全局光照计算提供了全新的解决思路。
现有的神经全局光照方法虽然已取得显著进展，但在处理具有高动态复杂效果(如焦散、间接高光等)的场景时仍面临挑战。特别是当场景包含复杂的几何结构、材质和光照变化时，现有方法难以准确捕捉这些高频视觉效果。这些问题限制了神经渲染技术在视觉特效和游戏产业中的应用潜力。
本研究提出了一种基于叠加可变特征场(Superposed Deformable Feature Fields)的新型神经渲染方法，通过以下创新性工作流程实现了高质量的动态全局光照效果：
对象导向的场景表示： 研究团队采用了类似先前工作[Zheng et al. 2023; Zhou et al. 2005]的对象导向思想，在对象级别建模和计算全局光照。通过建立对象间相对位置和姿态的变换矩阵，提取对象间的交互关系，构建对象-对象表示(Object-Object Representation)来隐式建模对象间的相互作用。
可变神经特征场建模： 研究摒弃了传统方法中使用的轻量级多层感知机(MLPs)，转而采用配备可变特征场(Deformable Feature Fields)的神经网络来建模单个对象/光源对全局光照的影响。这种方法显著增强了对高频细节的表达能力，支持复杂的渲染效果。
具体实现上，研究采用了三平面特征场(Triplane Feature Field)作为特征网格的骨干，引入多分辨率表示和窗口位置编码来防止训练过程中的次优局部极小值，同时保留表达高频细节的能力。特征场的变形通过偏移解码器实现，该解码器基于对象导向场景表示生成位置偏移和辅助特征。
研究团队构建了三个动态场景(ajar、watercolor和hall)来验证方法的有效性，每个数据集包含6,000-8,000个随机场景用于训练，100个随机场景用于测试。所有基准真实图像和对应的几何缓冲区均使用Falcor渲染器进行路径追踪生成，分辨率为512×512，每像素4,096个样本。
实验对比了当前最先进的神经全局光照方法(包括AE[Diolatzis et al. 2022]和NELT[Zheng et al. 2023])，以及先进实时降噪器OIDN。定量评估指标包括L1误差、结构相似性(SSIM)和感知图像块相似度(LPIPS)。结果显示，本方法在大多数情况下优于基线方法(ajar场景：L1=0.0023，SSIM=0.9941；watercolor场景：L1=0.0079，SSIM=0.9812；hall场景：L1=0.0134，SSIM=0.9449)。
本研究的主要科学价值在于提出了一种全新的神经渲染框架，通过将对象导向的传递表示扩展到潜在空间，并进一步采用可变特征场来增强表达能力，特别针对复杂渲染效果显著提升了整体质量。在应用价值方面，该方法能够以交互速率生成高质量的全局光照效果，为实时全局光照带来了新的可能性。
研究的创新亮点包括： 1. 对象导向的隐式建模：扩展了对象导向传递表示至潜在空间，通过隐式方式建模对象的全局光照贡献。 2. 可变特征场的创新应用：引入了可变神经特征网格，通过位置偏移和辅助特征增强了复杂形状变换效果的表达能力。 3. 自适应叠加机制：提出的特征场叠加方法能够自动平衡和组合不同对象对全局光照的贡献。 4. 处理复杂场景能力：相比现有方法，能够更好地处理包含复杂材质、几何和高动态光照效果的场景。
研究团队也指出了当前方法的局限性，包括动态对象数量增多时的计算成本问题、大规模场景处理能力有限等。未来工作方向包括： 1. 进一步优化单个对象的计算成本 2. 探索新的表示方法提高效率 3. 结合哈希表或虚拟纹理处理大规模场景 4. 研究自适应训练策略以更好捕捉罕见的高频效果
这项研究通过创新的神经渲染框架，为实现高质量的实时全局光照开辟了新的途径，有望推动计算机图形学在虚拟现实、游戏开发和影视特效等领域的应用发展。