分享自:

无排序高斯溅射通过加权和渲染技术

期刊:ICLR 2025

本文档属于类型a,即报告单一原创性研究的学术论文。以下是针对该研究的详细学术报告:


1. 作者与机构及发表信息

本研究的核心作者团队包括:Qiqi Hou(第一作者)、Randall Rauwendaal、Zifeng Li等,主要来自Qualcomm AI Research(高通人工智能研究院)和Graphics Research Team(图形学研究团队)。论文题为《Sort-Free Gaussian Splatting via Weighted Sum Rendering》,并于2025年作为会议论文发表在ICLR(International Conference on Learning Representations)上。


2. 学术背景

科学领域:本研究属于计算机视觉与计算机图形学的交叉领域,聚焦于3D场景重建(3D scene reconstruction)实时渲染(real-time rendering)技术。
研究动机:尽管3D高斯泼溅(3D Gaussian Splatting, 3DGS)在细节还原和计算效率上优于传统神经辐射场(NeRF),但其渲染性能受限于非交换性Alpha混合(non-commutative alpha-blending)所需的复杂排序操作,尤其在移动设备等资源受限平台上表现不佳。
研究目标:提出一种无排序的高斯泼溅方法(sort-free Gaussian splatting),通过加权和渲染(Weighted Sum Rendering, WSR)替代Alpha混合,消除排序需求,提升渲染效率并减少视觉伪影(如“闪烁”现象)。


3. 研究方法与流程

研究流程

  1. 问题分析

    • 指出3DGS依赖的排序操作导致计算开销和内存占用过高,且排序中心点变化会产生“闪烁”伪影。
    • 提出借鉴顺序无关透明度(Order-Independent Transparency, OIT)技术,探索可学习的混合权重函数。
  2. 方法设计

    • 加权和渲染(WSR)
      • 通过深度和可学习参数计算高斯泼溅权重,直接求和渲染(公式7),避免排序。
      • 提出三种变体:
      • Dir-WSR:直接求和,权重为常数(公式8)。
      • Exp-WSR:基于指数函数的深度权重(公式9)。
      • LC-WSR:线性校正权重(公式10),性能最优。
    • 视图相关不透明度(View-Dependent Opacity)
      • 将高斯的最大不透明度改为视图相关的球形谐波函数(公式11),提升遮挡处理能力。
  3. 实现优化

    • 硬件适配:在移动设备(Snapdragon® 8 Gen 3 GPU)上实现Vulkan渲染管线,移除排序阶段,利用硬件光栅化加速。
    • 训练设置:使用与3DGS相同的损失函数(L1 + D-SSIM),初始化参数经实验调优(如LC-WSR的σ=10)。
  4. 实验验证

    • 数据集:Mip-NeRF360、Tanks & Temples、Deep Blending共13个场景。
    • 对比方法:3DGS(两种实现:CUDA计算版和全局排序图形版)、Plenoxels、Instant-NGP等。
    • 评价指标:PSNR、SSIM、LPIPS、运行时(ms)和内存占用(MB)。

关键创新技术

  • 无排序渲染管线:首次将WSR引入高斯泼溅,兼容图形硬件管线。
  • 可学习权重函数:通过训练优化参数,超越传统OIT的固定权重。

4. 主要结果

  1. 渲染质量

    • PSNR:LC-WSR在Tanks & Temples和Deep Blending上分别超越3DGS 0.47dB和0.22dB(表1)。
    • 视觉细节:在“Dr Johnson”场景中,LC-WSR能更好还原壁炉的复杂光照(图5)。
  2. 性能提升

    • 速度:相比3DGS图形版,平均加速1.23倍(表2),在移动端实现30 FPS。
    • 内存:内存占用降至3DGS的63%(表3),主要因移除排序和减少高斯数量。
  3. 消融实验

    • 视图相关不透明度:将PSNR提升1.31dB(表5)。
    • 无“闪烁”伪影:LC-WSR在相机移动时表现稳定(图6)。

5. 研究结论与价值

科学价值
- 提出了首个无排序的高斯泼溅框架,将渲染简化为加权和操作,为实时3D重建开辟新路径。
- 通过可学习权重和视图相关不透明度,验证了非物理模型在神经渲染中的潜力。

应用价值
- 在移动端实现高质量实时渲染(如VR、AR),解决了3DGS在资源受限设备上的瓶颈问题。


6. 研究亮点

  1. 方法论创新

    • 将传统OIT技术融入可微分渲染,提出WSR及其三种变体。
    • 引入视图相关不透明度,提升遮挡处理能力。
  2. 工程贡献

    • 首个支持硬件光栅化的无排序高斯泼溅实现,适配移动GPU。
  3. 实验结果

    • 在PSNR、内存和速度上均优于3DGS,尤其适合复杂动态场景。

7. 其他补充

  • 局限性:暗色物体在亮背景前可能出现透明伪影(图8),未来可通过优化训练策略改进。
  • 未来方向:结合紧凑高斯表示(如Compact 3DGS)进一步压缩模型规模。

此研究为实时神经渲染提供了高效解决方案,其代码和实现细节可通过论文补充材料进一步查阅。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com