类型a

姜金廷和陈斌是本研究的主要作者，他们来自北京大学地球与空间科学学院；该研究发表在《北京大学学报(自然科学版)》上，网络首发日期为2024年11月18日。

虚拟野外考察技术的发展为科学研究提供了新的可能性，同时也为学生和研究者提供了灵活的学习方式。然而，如何快速构建高质量的虚拟野外场景以及保持用户交互沉浸感是一个亟待解决的问题。3D Gaussian Splatting（3DGS）技术因其分钟级训练速度和实时新视角渲染能力而受到广泛关注。但该技术在任意视点处的渲染质量并不稳定，特别是在相机未拍摄到的方向或远离相机位置时，容易出现场景空洞或无意义色块，导致用户沉浸感降低。因此，本研究旨在提出一种基于野外全景视频数据的3DGS渲染质量评估方法，通过定量计算渲染质量指数来判断场景中不同视点的渲染质量，从而为虚拟野外考察提供技术支持。

本研究的工作流程分为四个主要阶段：数据预处理、野外场景三维重建、渲染质量评价和渲染质量指标验证。
第一阶段：数据预处理
研究使用Insta360 Pro2全景相机采集野外场景的6目全景视频数据，并通过抽帧生成图像帧序列。这些图像经过去畸变处理后，利用COLMAP软件进行稀疏重建，得到每张图像对应的相机姿态和稀疏点云分布。稀疏点云用于后续的3DGS模型初始化。
第二阶段：野外场景三维重建
基于稀疏点云和相机姿态，研究使用3DGS技术进行三维场景重建。每个高斯椭球体具有独立的位置、透明度、协方差和特征向量等参数，通过透明度合成公式生成渲染图像。背景颜色设置为黑色，当椭球体分布稀疏时会出现场景空洞。此外，研究还调整了规模参数（φ）以优化渲染效果。
第三阶段：渲染质量评价
研究提出了渲染质量指数（ψ）的概念，用于量化视点在场景中的包裹程度。具体而言，通过将视点周围的高斯椭球体投影到相机平面上形成光斑，计算每个像素的覆盖程度及其对应的立体角。最终，将六个方向的Cubemap全景图的立体角求和并归一化，得到视点的渲染质量指数。
第四阶段：渲染质量指标验证
为了验证渲染质量指数的有效性，研究将全景相机拍摄的真实图片合成为ERP格式全景图作为真实数据集（GT）。随后，在三维场景中随机选取视点进行3DGS渲染，生成Cubemap全景图并计算其渲染质量指数。根据指数范围将全景图分为六类，并分别计算与GT之间的Fréchet Inception Distance（FID）距离。

研究结果表明，渲染质量指数与FID距离呈现显著的负相关性。例如，在场景#1中，当渲染质量指数位于[0.9, 1]区间时，FID距离仅为68.46；而当指数位于[0, 0.5)区间时，FID距离高达338.52。这表明较高的渲染质量指数对应于更接近真实的渲染图像。定性分析进一步证实，随着渲染质量指数的下降，场景空洞和无意义色块的比例逐渐增加，而景物的清晰度和细节则显著降低。此外，当渲染质量指数大于0.7时，全景图的FID距离保持在100以下，人眼可以轻松理解画面内容，说明该方法能够有效评估3DGS模型的渲染质量。

本研究的结论是，所提出的基于野外全景视频数据的3DGS渲染质量评估方法能够在指标数据和目视质量评估上较好地符合预期，可用于实际的虚拟野外考察应用。通过快速评估场景中任意视点的渲染质量指数，可以提取出高渲染质量的场景范围，为用户提供更好的交互体验。该方法不仅为虚拟野外考察提供了技术支持，还为其他需要高质量渲染的应用场景奠定了基础。

本研究的亮点在于首次提出了一种结合3DGS技术和渲染质量指数的方法，用于评估虚拟场景的渲染质量。其创新之处包括：
1. 提出了基于高斯椭球体分布的渲染质量指数计算方法，能够定量描述视点在场景中的包裹程度。
2. 利用FID距离验证了渲染质量指数的有效性，证明了该方法在客观指标和主观感知上的高度一致性。
3. 方法适用于全景相机采集的数据集，解决了传统无边界场景数据集中因视角缺失导致的渲染质量问题。

此外，本研究还讨论了方法的局限性，例如对复杂遮挡关系的城市场景可能无法准确反映实际渲染质量。未来的研究方向包括扩展数据集规模、改进算法以适应更多类型的场景，以及探索渲染质量评估在其他领域的应用潜力。