基于三角网格的3D高斯泼溅（3DGS）操控方法研究：Mani-GS技术报告
作者及机构
本研究的核心团队由香港科技大学的Xiangjun Gao、南京大学的Yao Yao以及腾讯公司的Xiaoyu Li等学者共同组成，研究成果以《Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh》为题发表于计算机视觉领域顶级会议CVPR（具体年份未明确标注，推测为2024年）。
学术背景
研究领域与动机
本研究属于计算机视觉与三维内容生成交叉领域，聚焦于神经辐射场（Neural Radiance Fields, NeRF）与3D高斯泼溅（3D Gaussian Splatting, 3DGS）技术的可编辑性问题。尽管NeRF和3DGS在高质量新视角合成方面表现优异，但传统方法存在两大瓶颈：
1. NeRF的隐式表达导致几何编辑困难，且训练与推理耗时较长；
2. 3DGS虽具备显式点云表示和实时渲染优势，但缺乏保持渲染质量的动态操控手段。
技术背景
- 3DGS技术：通过显式3D高斯分布作为渲染基元，实现了比NeRF更快的训练速度和实时渲染能力。每个高斯点包含位置（μ）、协方差矩阵（σ）、透明度（o）和球谐函数（SH）表示的颜色（c）。
- 现存问题：现有编辑方法（如SUGAR）依赖网格几何精度，无法处理网格不准确导致的渲染缺陷，且缺乏对非刚性变形的适应性。
研究目标
开发一种通过三角网格直接操控3DGS的方法，实现以下功能：
1. 支持大尺度变形、局部编辑和物理模拟（如软体）；
2. 对网格精度具有高容忍度；
3. 保持渲染质量的同时实现实时交互。
方法流程
1. 网格提取阶段
输入与预处理
- 数据源：多视角RGB图像
- 网格生成方法：
- Marching Cube：通过高斯点α值合成密度场提取网格，但会丢失薄结构细节；
- Screened Poisson重建：为3DGS添加法向量属性后，利用泊松重建算法生成网格；
- NeUS隐式曲面：从神经隐式表面提取高质量网格（经降采样至约30万面片）。
创新点
提出法向量监督策略：通过深度图生成伪法向量，指导3DGS训练时附加法向量属性，提升网格重建质量。
2. 高斯-网格绑定阶段
核心算法：局部三角形空间绑定
1. 坐标系定义：
- 第一轴：三角形第一条边方向（(v₂-v₁)/|v₂-v₁|）
- 第二轴：三角形法向量（nᵗ）
- 第三轴：前两轴的叉积
旋转矩阵计算见公式(4)。
- 高斯属性绑定：
- 每个三角形绑定3个高斯点，其局部位置μˡ和旋转Rˡ在三角形空间内优化；
- 全局属性通过公式(6)动态计算：
R = RᵗRˡ, s = sˡ, μ = Rᵗμˡ + μᵗ
- 引入形状自适应因子β和边长比例向量e=（l₁, 0.5(e₁+e₃), 0.5(l₂+l₃)）应对变形（公式7）。
技术优势
- 允许高斯点脱离网格表面，通过局部空间保持相对位置关系；
- 自适应调整缩放和旋转，解决固定偏移量导致的变形失真问题。 ### 3. 操控实现阶段
操控类型
- 大尺度变形：如拉伸、锥化、弯曲（图4展示椅子拉伸和乐高锥化）；
- 局部编辑：如热狗酱料混合（图7）；
- 物理模拟：通过网格驱动软体动力学（如钹弹性变形）。
实时性保障
所有属性在局部空间保持不变，仅需实时计算变形后的全局变换，无需重新训练。 ## 主要结果
### 定量评估
在NeRF合成数据集上的对比实验显示（表1）：
- PSNR：相比SUGAR平均提升1.5 dB（NEUS网格），最高达35.68（ficus）；
- SSIM/LPIPS：分别达到0.986和0.013（mic场景），显著优于NeRF-Editing的模糊结果。
DTU真实数据集测试（表2）：
即使使用与SUGAR相同的泊松重建网格，PSNR仍提升1.44（31.50 vs 30.06），验证方法对网格误差的鲁棒性。 ### 定性分析
1. 静态渲染质量（图3）：
- SUGAR在边界区域因网格不准出现失真；
- 本方法在”ship”场景保留锐利边界，”drums”呈现更丰富细节。
2. 动态操控效果（图4/7）：
- 非刚性变形后无伪影（对比Neumesh的模糊现象）；
- 软体模拟时物理合理性保持良好（图7时间序列）。
3. 网格容错性验证（图5/8）：
- 低质量Marching Cube网格仍可生成可用编辑结果；
- 冗余或缺失区域通过高斯自适应补偿渲染缺陷。 ## 结论与价值
科学价值
1. 提出首个将显式3DGS与网格编辑框架结合的通用方案，突破传统方法对隐式表达的依赖；
2. 建立局部三角形空间绑定理论，为动态神经场编辑提供新范式。
应用价值
1. 影视/游戏行业：实现高保真3D资产的实时交互编辑；
2. 虚拟现实：支持物理模拟与用户驱动的动态场景生成；
3. 工业设计：加速原型迭代流程，降低专业建模门槛。 ## 研究亮点
1. 方法创新性：
- 首创”形状感知高斯绑定”策略，通过局部空间解耦几何精度与渲染质量；
- 提出边长比例自适应机制，解决非均匀变形导致的失真问题。
2. 技术突破：
- 在3DGS领域首次实现软体模拟等复杂操控；
- 训练效率提升（总迭代5万次，单A100 GPU完成）。
3. 开源意义：
论文标注为CVPR开放获取版本，有助于推动社区在可编辑神经渲染方向的发展。 ## 局限与展望
1. 当前不足：高度非刚性变形仍可能导致局部失真；大规模网格（>35K面片）的物理模拟效率待优化。
2. 未来方向：探索分层绑定策略以处理更复杂拓扑变化；结合神经网络预测自适应参数β。
本研究通过三角网格桥接了几何编辑与神经渲染的鸿沟，为下一代3D内容创作工具奠定了关键技术基础。