类型a
主要作者与研究机构及发表信息
本研究的主要作者包括陈丹鹏、李海、叶伟才、王一帆、谢伟健、翟尚进、王楠、刘浩明、鲍虎军和张国锋。其中，鲍虎军和张国锋隶属于浙江大学CAD&CG国家重点实验室；陈丹鹏和谢伟健同样隶属于该实验室，但谢伟健还与商汤科技（SenseTime Research）有合作，而陈丹鹏则与Tetras.ai有关联。此外，李海隶属于Rayneo，王一帆隶属于上海人工智能实验室（Shanghai AI Laboratory），翟尚进、王楠和刘浩明均隶属于商汤科技。该研究已被《IEEE Transactions on Visualization and Computer Graphics》接受，并于2024年正式发表。
学术背景
本研究属于计算机视觉与计算机图形学领域，专注于基于多视图RGB图像的高效高保真表面重建技术。近年来，3D高斯点云（3D Gaussian Splatting, 3DGS）因其高质量渲染、超快训练和渲染速度引起了广泛关注。然而，由于高斯点云的无序性和不规则性，仅依赖图像重建损失难以保证几何重建精度和多视图一致性。尽管已有许多基于3DGS的表面重建研究，但其网格质量普遍不尽如人意。为解决这一问题，本研究提出了一种基于平面的高斯点云表示方法（Planar-based Gaussian Splatting Reconstruction, PGSr），旨在实现高效高保真的表面重建，同时确保高质量渲染。
研究工作流程
本研究的工作流程分为以下几个步骤：
无偏深度渲染方法的提出
研究首先引入了一种无偏深度渲染方法，通过将3D高斯点云压缩为平面并渲染距离图和法线图，进而转化为深度图。具体而言，每个高斯点被压缩为其最小尺度方向上的平面，其法线方向由最短轴确定。随后，通过α混合计算平面到相机的距离和法线图，并利用公式将其转换为深度图。这种方法消除了光线累积权重的影响，从而确保深度估计的无偏性。
单视图与多视图正则化
在获得每像素的平面参数后，研究引入了单视图和多视图正则化以优化这些参数。单视图正则化假设局部像素属于同一平面，通过邻域像素深度估计计算法线图，并确保其与渲染法线图的一致性。在几何边缘区域，研究通过检测图像边缘减少权重，从而实现平滑几何和一致深度与法线。多视图正则化则通过引入多视图几何一致性损失，确保全局几何一致性。
曝光补偿模型
针对场景中光照变化较大的问题，研究提出了一种曝光补偿模型，通过两个曝光系数调整图像亮度，进一步提高重建精度。
实验验证
研究在多个数据集上进行了实验，包括MipNeRF360、DTU和Tanks and Temples（TNT）。实验评估指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）、感知图像块相似性（LPIPS）、F1分数和Chamfer距离。
主要结果
1. 无偏深度渲染的效果
实验表明，PGSr的无偏深度渲染方法能够显著提高几何重建精度。与现有方法相比，PGSr生成的深度图更平滑且更精确，尤其是在平坦区域。
单视图与多视图正则化的贡献
单视图正则化提供了良好的初始几何精度，而多视图正则化则进一步提高了多视图间的几何一致性。实验结果显示，移除多视图正则化会导致重建精度显著下降。
曝光补偿模型的作用
曝光补偿模型有效改善了光照变化场景中的重建和渲染质量，尤其在TNT数据集上的表现尤为突出。
与其他方法的对比
在DTU数据集上，PGSr实现了最高的重建精度，且训练速度远快于基于NeRF的方法。在TNT数据集上，PGSr的F1分数接近Neuralangelo，但训练时间仅为后者的百分之一。
结论与意义
本研究提出了一种基于平面的高斯点云表示方法（PGSr），通过无偏深度渲染、单视图与多视图正则化以及曝光补偿模型，实现了高效高保真的表面重建。该方法不仅在几何重建精度上超越了现有方法，还保持了高质量的渲染效果。其科学价值在于解决了3DGS在几何重建中的不足，应用价值则体现在虚拟现实、增强现实等领域中的潜在用途。
研究亮点
1. 提出了无偏深度渲染方法，解决了传统深度渲染中几何冲突的问题。
2. 引入了单视图与多视图正则化，显著提高了几何重建精度。
3. 提出了一种简单有效的曝光补偿模型，适应光照变化场景。
4. 训练速度快，性能优越，适用于大规模场景重建。
其他有价值内容
研究还探讨了PGSr的局限性，包括在视角缺失区域的重建问题、反射表面的处理不足以及场景中漂浮点的影响。未来研究可结合先验知识或更先进的3DGS基线进一步改进。