VR-DOH：虚拟现实中的沉浸式3D建模系统

1. 研究团队与发表信息

本研究由来自Carnegie Mellon University的Zhaofeng Luo（罗兆丰，兼北京大学）、Zhitong Cui（崔志桐，兼浙江大学）、Shijian Luo（罗世健，浙江大学）、Mengyu Chu（褚梦瑜，北京大学兼通用人工智能国家重点实验室）及MinChen Li（李敏辰，Carnegie Mellon University）共同完成，发表于ACM Transactions on Graphics（2025年8月，第44卷第4期，文章编号66）。论文以开源形式发布，代码托管于GitHub。

2. 学术背景与研究目标

科学领域：该研究属于虚拟现实（Virtual Reality, VR）与计算机图形学的交叉领域，聚焦于物理模拟驱动的3D建模。

研究动机：传统3D建模工具（如Blender）依赖专业技巧，存在学习门槛高、操作抽象等问题。尽管已有VR建模工具（如ShapeLab、Gravity Sketch）尝试改进，但其基于几何方法的建模流程仍缺乏物理真实性和直觉交互。VR-DOH提出通过物理模拟（physics-aware simulation）和自然手势交互，降低建模门槛，提升沉浸感。

理论基础：
- 材料点方法（Material Point Method, MPM）：用于模拟手部接触引发的大形变（elastoplastic deformation）。
- 3D高斯泼溅（3D Gaussian Splatting, 3D GS）：实现高保真实时渲染。
- 中介轴变换（Medial Axis Transform, MAT）：优化手部与工具的碰撞检测效率。

研究目标：开发一个开源VR系统，支持用户通过手势和工具直接操控虚拟物体，实现“所见即所得”的物理真实形变，同时保证实时性能。

3. 研究方法与技术流程

3.1 系统架构

VR-DOH的流程分为四个核心模块：
1. 交互输入：通过Meta Quest 3的手部追踪捕捉用户手势，支持两种操作模式：
- 接触式建模：直接用手捏、拉、压虚拟物体，辅以工具（如平面板、棒状工具）进行结构化编辑。
- 空中手势建模：通过捏合手势（拇指与中指接触）选择区域，施加力场实现扭转或拉伸。
2. 物理模拟：
- 局部化MPM模拟：仅计算手部活动区域的粒子形变，降低计算负载（从50万粒子降至10万粒子）。
- 粒子级碰撞处理：解决低分辨率网格下粒子穿透问题，通过投影修正粒子位置与速度。
3. 渲染优化：
- 解耦的物理与外观表示：轻量级MPM粒子驱动高密度高斯泼溅渲染，平衡性能与画质。
- 均匀高斯体积正则化：约束高斯体积差异，避免形变导致的内部模糊（公式：$L{vol_ratio} = \max(\frac{mean(V{top,\alpha})}{mean(V_{bottom,\alpha})}, r) - r$，设定$r=2$）。
4. 网格生成：通过Marching Cubes算法从MPM粒子重建表面网格，辅以拉普拉斯平滑提升质量。

3.2 关键技术突破

• 粒子级碰撞处理：在MPM的grid_to_particle步骤后增加投影修正（公式1），避免手部穿透。
  
• 中介轴近似：将手部几何简化为76个中介锥体（medial cones）和28个中介板（medial slabs），加速碰撞检测（图3）。
  
• 多模态交互工具包：支持工具切换（如剪刀切割、棒状工具穿孔）与动态挤出（extrusion）操作。
  

4. 实验结果与验证

4.1 性能测试

• 实时性：在AMD Ryzen 9 9950X与NVIDIA RTX 4090硬件下，64³网格分辨率、5次子步长时，帧率稳定在56 FPS（图5）。
  
• 形变收敛性：网格分辨率超过48³时，手部挤压球体的形变结果趋于稳定（图6）。
  
• 局部化模拟效率：在包含66万高斯泼溅的“花园”场景中，局部化模拟使帧率从12.2 FPS提升至39.8 FPS（表1）。
  

4.2 用户研究

• 新手与专家对比：12名参与者（6名有3D建模经验）完成两项任务（编辑GS模型、从零创建模型）。结果显示：
  
  • 易用性评分：学习难度6.0/7，满意度5.9/7。
    
  • 优势反馈：物理形变直观、免绑定（rig-free）姿态编辑、重力堆叠自然。
    
• 与Blender对比：制作瑞士卷任务耗时减少40%（5.6分钟 vs 9.4分钟），但精细操作精度较低。
  

5. 研究结论与价值

科学价值：
- 提出首个整合MPM与3D GS的VR建模系统，实现物理模拟与高保真渲染的实时协同。
- 通过局部化模拟与粒子级碰撞处理，解决了大规模场景的实时性瓶颈。

应用价值：
- 教育领域：降低3D建模学习曲线，适合非专业用户快速原型设计。
- 娱乐与艺术：支持食品、角色、建筑等多样化模型创作（图10-11）。

6. 研究亮点

• 交互范式创新：结合接触与手势的多模态输入，复现真实黏土操作体验。
  
• 技术整合：MPM模拟、3D GS渲染与MAT碰撞检测的跨方法融合。
  
• 开源生态：代码公开促进VR创意工具社区发展。
  

7. 局限与展望

当前系统受限于手部追踪精度与触觉反馈缺失，未来可探索混合现实（Hybrid Reality）交互与硬件集成（如触觉手套）。