类型a

本研究的主要作者包括Bernhard Kerbl（来自Inria，法国蔚蓝海岸大学和奥地利维也纳工业大学）、Andreas Meuleman、Georgios Kopanas（均来自Inria，法国蔚蓝海岸大学）、Michael Wimmer（奥地利维也纳工业大学）、Alexandre Lanvin和George Drettakis（均来自Inria，法国蔚蓝海岸大学）。该研究于2024年7月发表在ACM Transactions on Graphics期刊上。

这项研究的学术背景属于计算机图形学领域，特别是实时渲染和大规模场景表示。近年来，基于神经辐射场的新视图合成技术取得了重大进展，但现有方法在处理非常大的场景时遇到了资源限制问题。传统的3D高斯点阵化方法虽然提供了高质量的视觉效果和快速训练，但对于超大场景的表示仍然存在局限性。因此，本研究旨在开发一种新的分层3D高斯表示方法，以实现超大数据集的实时渲染。

该研究的工作流程主要包括以下几个步骤：

首先，场景分割与粗略初始化。研究人员将整个场景划分为多个块（chunks），每个块的大小根据采集方式不同而有所差异：步行采集的场景为50×50米，车载采集的场景为100×100米。然后对整个数据集进行相机校准，并进行一个非常粗略的初始优化，创建一个包含所有3D高斯的基本框架。

其次，独立块优化。每个块独立进行优化，这包括改进3DGS优化过程以适应稀疏数据，以及为每个块创建一个新的3DGS层次结构。具体来说，研究人员开发了一种基于局部几何和体积特性的3DGS基元合并方法，定义了如何将候选3DGS基元合并到中间节点中。

第三，层次结构生成与优化。研究人员构建了一个基于树的层次结构，其中每个节点都与一个3D高斯相关联。对于中间节点，他们定义了具有所有3DGS基元属性的3D高斯，包括位置、协方差矩阵、球谐系数和不透明度。此外，还开发了一种插值方法来优化内部节点的属性，从而提高整体视觉质量。

第四，块整合与全局层次结构构建。优化后的各块层次结构被压缩并整合成整个场景的完整层次表示。在整合过程中，删除冗余的支架高斯以提高视觉质量，并创建一个包含整个场景根节点的全局层次结构。

第五，实时渲染。通过设置粒度阈值并找到相应的切割，可以进行基于LOD的实时渲染。每两帧更新一次切割以添加细节，并每100帧运行一次清理。

在实验结果方面，研究人员在四个捕获的场景（smallcity、bigcity、campus和wayve提供的场景）上展示了他们的方法。结果显示，该方法可以在这些大型场景中实现实时导航。对于每个场景，他们停止并展示了一个自由视角的环绕会话。特别是在摄像机密度较高的区域，如多次采集交叉的地方，效果尤为显著。

在定量评估中，研究人员比较了不同方法在同一块上的质量。结果显示，他们的方法在大多数情况下优于以前的方法。例如，在smallcity场景中，他们的方法在PSNR指标上达到了26.62，而之前的最佳方法仅为25.34。此外，优化后的层次结构在较粗粒度目标下显著提高了结果质量。

本研究的主要结论是提出了一种新颖的视图合成方法，可以处理跨越数公里距离的街景级场景，并使用数万张输入图像实现实时渲染。该系统允许实时渲染这些场景，使捕捉和导航非常大的环境的能力变得大众化。该研究的科学价值在于首次实现了超大规模场景的实时渲染，其应用价值体现在城市规模场景的实时可视化和交互。

本研究的亮点包括： 1. 提出了一种高效的3D高斯层次结构，允许对大规模场景进行平滑的细节层次机制 2. 开发了优化该层次结构的能力，改善了质量/速度权衡 3. 提出了基于分而治之的块状算法，用于优化分层表示，允许独立块的并行处理

其他值得注意的内容包括：研究人员计划发布源代码和大型捕获数据集；他们开发了一种新的插值方法来处理层次级别之间的平滑过渡；并且他们的方法可以适应可用资源，使用廉价的消费级设备进行捕获。这些特点使得该研究在计算机图形学领域具有重要意义，为未来的研究和应用开辟了新的可能性。