分享自:

基于Three.js的高斯点渲染三维场景开发与全球坐标转换

期刊:geoid

基于Three.js的高斯泼溅三维场景开发与全球坐标无缝可视化研究学术报告

本研究由Azfa Ahmad Dzulvikar(第一作者及通讯作者,隶属于印度尼西亚加查马达大学工程系大地测量工程系)、Harintaka(同属加查马达大学)以及Ikhrom(隶属于印度尼西亚瓦利松戈国立伊斯兰大学)共同完成。该研究成果以《Development of Three.js-based 3D Scenes with Seamless Visualisation of Gaussian Splatting and Transformation to Global Coordinates》为题,发表于期刊《Geoid》2025年第20卷第2期,于2025年10月5日正式在线发表。

一、 学术背景

本研究的核心科学领域为计算机视觉、三维重建与地理空间信息科学的交叉领域,具体聚焦于一种新兴的三维表示与渲染技术——三维高斯泼溅(3D Gaussian Splatting, 3DGS)。近年来,三维建模技术在计算机视觉和地理空间分析等多个学科中得到了广泛应用。尽管神经辐射场(Neural Radiance Field, NeRF)等新技术不断涌现,但高斯泼溅算法因其能够使用大量三维高斯分布来表示场景,在生成细节丰富、视觉逼真的三维场景的同时,保持较小的文件尺寸和较低的计算需求,从而持续受到关注。

然而,现有关于高斯泼溅算法的学术文献主要集中于改进三维物体的渲染和重建质量,并探索其在医学、机器人和制图等领域的应用。这些研究普遍存在一个关键局限:它们构建的三维场景均局限于局部坐标系。这意味着生成的模型虽然视觉效果出色,但缺乏与真实世界地理空间位置的精确对应关系,无法直接提供准确的距离和位置信息。这一局限限制了高斯泼溅技术在需要精确地理参照的诸多科学和工程领域的应用潜力,例如城市规划、基础设施管理、文化遗产数字化保护以及精确测绘等。

为了填补这一研究空白,本研究旨在开发一个能够将高斯泼溅算法生成的三维场景无缝转换到全球坐标系(即地球表面坐标)的系统。具体研究目标包括:1)开发一个基于Three.js库的在线可视化系统,能够流畅展示高斯泼溅生成的三维场景,并实现从局部坐标到全球坐标的精确转换;2)通过实地测量数据,评估经转换后的三维场景在位置和距离几何精度上的表现,并与当前三维重建领域的成熟基准方法——运动恢复结构与多视图立体视觉(Structure from Motion-Multi View Stereo, SfM-MVS)算法进行统计学对比验证。本研究假设,所开发的系统能够成功生成具有准确几何形状和地球表面真实位置信息的三维场景。

二、 详细工作流程

本研究的工作流程严谨而系统,可分为三个主要阶段:准备阶段、处理阶段和最终分析阶段。

第一阶段:准备阶段。 此阶段的核心是数据采集与应用程序开发。研究选取了印度尼西亚三宝垄市的Tugu Temple作为案例研究对象。选择该遗址的原因在于其色彩多样、几何结构相对规整,有利于评估位置和距离精度,同时该研究也兼具为这一重要文化遗产进行数字化记录的目的。数据采集使用了多种高精度测量设备:利用大疆Phantom 4无人机进行航空摄影,获取研究对象的高分辨率影像;使用Topcon Hiper SR和Hiper II两款多星座GNSS接收机,结合Sokkia IM-52全站仪(测角精度2秒,无棱镜测距可达500米),精确测量了布设在现场的四个控制点(Control Points, CP)和三个检查点(Independent Check Points, ICP)的三维坐标。这些地面控制点用于后续模型的几何纠正和精度验证,而检查点则专门用于评估最终模型的绝对位置精度。同时,研究团队还利用全站仪测量了寺庙结构上若干特征点之间的真实距离,用于评估模型的内部几何(距离)精度。在软件开发方面,研究团队基于Three.js库开发了一个专门的Web应用程序。该程序集成了从GitHub开源社区获取的高斯泼溅渲染器资源(来自Kellogg和mrdoob的仓库),并实现了关键功能:能够读取并应用外部提供的XML格式的坐标转换参数,将高斯泼溅模型从局部坐标系转换到WGS84等全球坐标系;同时,该程序内置了测量工具,允许用户在三维场景中直接量测点坐标、距离和面积,为精度评估提供了便利。

第二阶段:处理阶段。 此阶段是数据处理与模型生成的核心,包含并行的两条技术路线:传统的SfM-MVS流程和本研究提出的SfM-GS流程。 1. SfM-MVS处理流程:首先,使用基于SfM的软件(如Metashape、ContextCapture等)处理无人机影像。将之前测量的控制点坐标导入软件,在每张影像上识别并量测对应的像点,进行空中三角测量,解算出每张影像精确的外方位元素(即相机姿态和位置)以及稀疏点云。此过程同时会生成一个从影像局部坐标系到全球坐标系的转换参数(通过控制点求解得到)。接着,软件执行多视图立体匹配,生成密集点云,并进一步构建纹理化的三角网格模型。该模型由于在重建初期就引入了控制点,因此是直接具有全球坐标的。这是当前倾斜摄影测量领域生成高精度实景三维模型的成熟标准流程。 2. SfM-GS处理流程:这是本研究的创新处理链路。其起点与SfM-MVS相同,即使用SfM软件处理影像并加入控制点,以获取具有地理参照的相机姿态数据(通常导出为COLMAP格式的cameras.bin, images.bin, points3d.bin文件)以及坐标转换信息。这一步至关重要,它确保了后续流程的几何基础是建立在真实世界坐标上的。然后,研究团队并未进行传统的密集匹配和网格重建,而是将这些地理参照的相机姿态数据、对应的影像以及稀疏点云数据,一并输入到专门的高斯泼溅处理软件Jawset PostShot中。该软件利用这些数据训练一个三维高斯泼溅模型。需要注意的是,此时生成的高斯泼溅模型(通常为.ply或压缩后的.splat格式)其内部仍然是局部坐标。最后,将生成的高斯泼溅模型和从SfM软件中导出的XML格式转换参数,一同导入到自主开发的Three.js应用程序中。应用程序利用这些转换参数,在渲染时实时将高斯泼溅模型的每个“高斯点”从局部坐标变换到全球坐标,从而实现模型在三维地球场景(如Cesium等)中的正确位置显示和精确量测。

第三阶段:分析阶段。 此阶段对两种方法生成的模型进行严格的精度评估与对比分析。评估内容分为两部分: 1. 位置几何精度分析:使用三个独立的检查点(ICP)进行评估。分别计算SfM-MVS模型和SfM-GS模型上对应点的坐标与其真实测量坐标之间的偏差。计算了水平误差和垂直误差的均方根误差(Root Mean Square Error, RMSE)。为了符合地理空间数据精度评价标准(参照印度尼西亚地理空间信息局2018年第6号规定),进一步计算了在90%置信水平下的水平精度(Circular Error at 90% confidence, CE90)和垂直精度(Linear Error at 90% confidence, LE90)。这些指标定量描述了模型的绝对定位精度。 2. 距离几何精度分析:在模型上量测一系列已知真实距离的线段长度,并与实地测量值进行比较。为了从统计学上判断两种方法在距离精度上是否存在显著差异,研究进行了配对t检验。在进行t检验之前,首先对两组误差数据进行了Lilliefors正态性检验,确认数据符合正态分布(SfM-GS的Dmax=0.14 < L表值0.17;SfM-MVS的Dmax=0.11 < L表值0.17),满足了使用参数检验的前提条件。

三、 主要研究结果

1. 应用程序开发结果:研究成功开发并部署了一个功能完善的基于Web的三维高斯泼溅可视化系统。该系统核心创新在于实现了高斯泼溅模型从局部坐标到全球坐标的无缝转换与集成可视化。用户可以在浏览器中流畅加载、浏览和交互操作具有地理坐标的高斯泼溅场景。系统支持在转换后的模型上进行坐标查询、距离和面积量测,功能直接服务于精度验证。此外,研究指出,通过使用压缩的.splat格式,高斯泼溅模型的文件大小相比原始的密集点云或网格模型(如SfM-MVS生成的)显著减小,从而实现了更快的网络加载速度和更流畅的渲染体验,且视觉质量得以保持。这为解决大规模高精度三维地理场景的网络发布与浏览提供了新的技术路径。

2. 位置几何精度分析结果:对检查点的分析显示,在绝对位置精度上,传统的SfM-MVS方法略优于本研究提出的SfM-GS方法。具体数据如下:SfM-GS模型的水平RMSE为11.66毫米,垂直RMSE为41.76毫米;其CE90和LE90分别为17.70毫米和68.90毫米。而SfM-MVS模型的水平RMSE为1.81毫米,垂直RMSE为6.95毫米;其CE90和LE90分别为2.74毫米和11.46毫米。从数据上看,SfM-MVS在水平和垂直方向上的误差均小于SfM-GS约一个数量级。作者分析认为,这种差异可能源于两种方法根本原理的不同:SfM-MVS基于确定性的密集匹配和几何三角测量,对特征匹配和空间定位的优化更为成熟;而高斯泼溅是一种基于概率密度估计的渲染技术,其首要目标是生成高质量的视觉外观,在精确几何重建方面可能引入更多的不确定性,且对输入影像的纹理和光照条件更为敏感。

3. 距离几何精度分析结果:尽管在绝对位置精度上存在差异,但至关重要的统计学t检验结果带来了不同的结论。配对t检验计算得到的t值为-0.80,而在95%置信水平(自由度相关)下的t表临界值为±2.10。由于-0.80落在[-2.10, +2.10]区间内,因此不能拒绝零假设。零假设是“两种方法在距离几何精度上没有显著差异”。这意味着,从统计学的角度看,在95%的置信水平下,没有足够证据表明SfM-GS方法与SfM-MVS方法在模型内部的距离量测精度上存在本质性差别。这个结果至关重要,它表明虽然高斯泼溅模型的绝对地理定位精度略逊于传统方法,但其模型内部的相对几何关系(即距离)是同等准确的。

四、 研究结论与意义

本研究成功开发并验证了一个能够将高斯泼溅三维场景转换并可视化于全球坐标系下的系统。通过实地检查点(ICP)分析和统计t检验,研究证实该方法能够达到厘米级的位置和几何精度,并且在距离精度上与成熟的SfM-MVS基准方法在统计学上没有显著差异(95%置信水平)。这一成果将高斯泼溅技术的应用范围从纯粹的视觉渲染扩展到了需要精确地理空间参照的领域。

研究的科学价值在于,它首次系统地探索并实现了高斯泼溅模型与全球坐标系的集成,证明了这种以视觉渲染见长的新型表示方法同样能够满足地理空间应用对几何精度的基本要求。其应用价值广泛:为城市规划、数字孪生、文化遗产数字化存档等领域提供了一种新的可选方案。这种方案在保证足够几何精度的同时,可能具有文件更小、渲染效率更高、更适合网络实时传输与交互的优势。

五、 研究亮点

  1. 研究问题的创新性:首次明确针对高斯泼溅技术缺乏全球坐标支持这一关键局限展开研究,并提出了完整的解决方案,填补了该技术领域与地理信息系统(GIS)应用之间的鸿沟。
  2. 技术路线的集成性:创造性地将传统的摄影测量流程(SfM with Control)与前沿的神经渲染技术(Gaussian Splatting)相结合。利用SfM提供精确的地理参照和相机参数,作为高斯泼溅训练的输入,从而将地理信息“注入”到神经渲染模型中。
  3. 系统开发的实用性:开发了基于Three.js的完整、可操作的Web应用程序,不仅验证了概念,更提供了一个可供后续研究和应用参考的技术原型和开源实现(代码已发布于GitHub)。
  4. 验证方法的严谨性:采用了地理信息领域标准的精度评估指标(CE90, LE90)并结合严格的统计假设检验(t检验),对新技术进行了多层次、定量化的精度评价,其结论可靠且有说服力。
  5. 结论的启发性:研究结果揭示了高斯泼溅在几何精度方面的特点:其绝对定位精度目前稍弱于传统方法,但其内部相对几何(距离)精度与传统方法相当。这为后续研究者指明了优化方向(如提升绝对定位精度),同时也明确了该技术在当前阶段适用的场景(对相对几何精度要求高、对绝对定位精度要求可放宽的应用)。

六、 其他有价值内容

研究在讨论部分也客观指出了当前高斯泼溅方法存在的一些局限性,主要包括:1) 计算资源需求较大,模型复杂度高时对内存要求高,可能限制在消费级硬件上的应用;2) 对光照条件敏感,动态阴影或高光反射可能被错误重建,产生视觉伪影,在复杂的室外环境中其几何保真度可能不如在受控的室内环境中稳定。这些指出问题是未来研究需要攻克的方向,例如通过算法优化减少计算量、引入更强的几何先验约束等。

本研究是一项具有前瞻性和实用性的优秀工作,它成功地将计算机图形学的前沿渲染技术与大地测量和地理信息科学的精确空间框架相结合,为高精度、高效率的三维地理空间可视化开辟了一条新的技术路径。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com