分享自:

联合UV优化与纹理烘焙

期刊:ACM Transactions on GraphicsDOI:10.1145/3617683

这篇文档属于类型a,即报告了一项原创性研究。以下是根据文档内容生成的学术报告:


联合UV优化与纹理烘焙的研究
Julian Knodt, Zherong Pan, Kui Wu, 和 Xifeng Gao,来自Lightspeed Studios, USA,于2023年9月在ACM Transactions on Graphics期刊上发表了这项研究。该研究旨在解决当前工业3D建模流程中低多边形模型视觉表现不佳的问题,提出了一种联合优化UV映射和纹理烘焙的方法,以提高低多边形模型的外观保真度。

学术背景

在交互式计算机图形学中,细节层次(Level of Detail, LOD)技术被广泛用于在模型较远或较小时渲染低多边形模型,以平衡视觉保真度和性能。然而,现有的工业流程中,艺术家通常依赖商业软件生成高多边形模型的UV映射,然后为低多边形模型烘焙纹理。这些步骤通常是独立进行的,导致低多边形模型的外观表现不佳。此外,现有的纹理烘焙技术假设低多边形模型与高多边形模型的几何差异较小,但在实践中,尤其是极低多边形模型中,这一假设往往不成立。

为了解决这些问题,作者提出了一种联合优化UV映射和纹理烘焙的方法,允许低多边形模型即使在大几何差异下也能忠实复制高多边形模型的外观。该研究基于可微分渲染框架,通过自动调整纹理区域来编码外观信息,并引入球谐函数视差映射(Spherical Harmonic Parallax Mapping)来补偿大几何差异下的视差效应。

研究流程

  1. 问题定义与目标
    研究的目标是优化低多边形模型的UV映射和纹理,使其在所有视角下的视觉外观尽可能接近高多边形模型。与传统的纹理烘焙不同,该方法联合优化了与纹理映射相关的多个参数。

  2. 可微分渲染框架
    研究采用可微分渲染框架,通过最小化视觉差异指标来优化纹理内容和UV参数化。具体来说,研究提出了一种内容感知的对称Dirichlet能量(Symmetric Dirichlet Energy)作为UV映射的优化目标,并结合球谐函数视差映射来补偿几何差异。

  3. 球谐函数视差映射
    为了处理低多边形和高多边形模型之间的几何差异,研究引入了球谐函数视差映射。该方法使用球谐函数(Spherical Harmonic, SH)来调制每个纹理像素的UV坐标,基于视角方向进行非线性调整。球谐函数映射与UV和纹理映射联合优化,以最小化视觉差异。

  4. 顶点位移优化
    研究还提出了一种顶点位移优化方法,通过沿法线方向微调低多边形模型的顶点位置,以改善其与高多边形模型的轮廓匹配。该方法与UV和纹理优化相结合,进一步提高了视觉保真度。

  5. 实验与评估
    研究在包含26个高多边形模型和78个不同LOD模型的测试数据集上评估了该方法的有效性和鲁棒性。实验结果表明,该方法在视觉相似性上优于现有技术和商业解决方案,尤其是在纹理分辨率相同的情况下,PSNR和MS-SSIM指标均显著提高。

主要结果

  1. UV优化与纹理烘焙的联合优化
    实验表明,联合优化UV映射和纹理烘焙能够显著提高低多边形模型的外观保真度。与现有的纹理烘焙技术相比,该方法在PSNR和MS-SSIM指标上均有显著提升,尤其是在低多边形模型与高多边形模型几何差异较大的情况下。

  2. 球谐函数视差映射的效果
    球谐函数视差映射有效补偿了大几何差异下的视差效应,显著减少了视觉伪影。与传统的视差映射方法相比,该方法在视觉质量上表现更优,且仅需单次纹理查询,计算开销较小。

  3. 顶点位移优化的贡献
    顶点位移优化进一步改善了低多边形模型的轮廓匹配,尤其是在极低多边形模型中,显著提高了视觉保真度。与仅使用UV和纹理优化的方法相比,结合顶点位移优化的方法在PSNR指标上平均提升了0.25至0.4 dB。

结论

该研究提出了一种联合优化UV映射、纹理烘焙和顶点位移的方法,显著提高了低多边形模型的外观保真度。该方法在可微分渲染框架下,通过引入球谐函数视差映射和内容感知的UV优化,解决了大几何差异下的视觉伪影问题。实验结果表明,该方法在视觉相似性上优于现有技术和商业解决方案,具有重要的科学价值和应用潜力。

研究亮点

  1. 联合优化框架
    该研究首次提出了联合优化UV映射、纹理烘焙和顶点位移的框架,显著扩展了优化空间,提高了视觉保真度。

  2. 球谐函数视差映射
    引入球谐函数视差映射,有效补偿了大几何差异下的视差效应,且计算开销较小。

  3. 顶点位移优化
    顶点位移优化进一步改善了低多边形模型的轮廓匹配,尤其是在极低多边形模型中表现显著。

其他价值

该研究还为下游应用提供了技术支持,例如通过“烘焙出”视差映射,将优化后的纹理应用于不支持视差映射的渲染管线。此外,研究还展示了该方法在其他纹理映射(如法线贴图、高光贴图)中的扩展应用潜力。


这篇报告详细介绍了研究的背景、流程、结果和结论,突出了该方法的创新性和应用价值。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com