分享自:

基于点变形场生成高保真3D高斯资产的方法研究

期刊:IEEE Transactions on Circuits and Systems for Video TechnologyDOI:10.1109/tcsvt.2024.3511342

类型a:这篇文档报告了一项原创研究。

主要作者与机构及发表信息
本研究的主要作者包括Haochen Yu、Weixi Gong、Jiansheng Chen(IEEE高级会员)和Huimin Ma(IEEE高级会员),他们均来自北京科技大学计算机与通信工程学院。该研究发表在《IEEE Transactions on Circuits and Systems for Video Technology》期刊上,时间为2024年7月。

学术背景
本研究属于计算机图形学和3D生成领域,旨在解决3D高斯资产生成中的关键问题。近年来,3D高斯点云渲染技术(3D Gaussian Splatting, 3DGS)因其在渲染速度和场景合成质量上的显著进步而备受关注,但现有3D生成技术多依赖隐式表示,难以平衡几何质量和可编辑性。此外,基于扩散模型的两阶段生成方法(重建与生成)导致了高昂的训练和推理成本。为应对这些挑战,本研究提出了GET3DGS(Generate 3D Gaussians based on Points Deformation Fields),一种结合3D感知生成对抗网络(GANs)与3D高斯点云表示的新方法。其目标是通过点变形场(Points Deformation Fields)实现对3D高斯属性(如几何和纹理)的精确操控,并提供更快的推理速度和端到端训练能力。

研究流程
本研究的工作流程分为以下几个主要步骤:

  1. 模板设计与点云初始化
    研究首先设计了一个数学模型,用于在球体表面均匀分布点云模板。根据分辨率计算点的数量,并通过球坐标系确定每个点的极角和方位角。这一过程确保了模板点云的均匀分布,为后续变形提供了基础。

  2. 点变形场的构建
    研究引入了几何塌缩场(Geometry Collapse Fields)和点球谐场(Points SH Fields)。几何塌缩场负责将模板点云映射到目标分布,并调整旋转、缩放和不透明度等参数;点球谐场则预测变形后的球谐系数(Spherical Harmonics Coefficients, SHs)。这两个场共同构成了点变形场,分别处理几何和纹理属性。

  3. 渐进致密化训练策略
    为提高训练效率和稳定性,研究提出了一种渐进致密化训练策略。该策略结合了GAN的渐进训练方法与3D高斯点云的分裂机制。随着训练分辨率的提升,点云数量逐渐增加,从而实现从低分辨率到高分辨率的平滑过渡。

  4. 实验设置与评估
    研究使用ShapeNet和OmniObject3D数据集进行实验。ShapeNet包含多种类别的3D模型,而OmniObject3D则是一个大规模的真实世界3D模型集合。研究采用了FID(Fréchet Inception Distance)、KID(Kernel Inception Distance)、CD-Cov(Chamfer Distance Coverage)和CD-MMD(Chamfer Distance Minimum Matching Distance)等指标对生成结果进行定量评估。

  5. 消融实验
    研究进行了多项消融实验以验证各模块的有效性,包括三平面与双平面采样对比、不同变形方法的影响、单分支与双分支结构的比较以及渐进致密化训练策略的效果。

主要结果
1. 几何与纹理分离控制
GET3DGS通过点变形场实现了几何与纹理的分离控制。实验表明,该方法能够独立操控形状和纹理噪声,生成多样化的输出。例如,在改变纹理噪声时,物体的形状保持不变,而纹理发生变化;反之亦然。

  1. 高质量生成结果
    在ShapeNet和OmniObject3D数据集上的实验结果显示,GET3DGS在FID、KID、CD-Cov和CD-MMD等指标上均优于基线方法。特别是在汽车、椅子和OmniObject3D数据集上,GET3DGS表现出更高的图像质量和几何精度。

  2. 推理速度优势
    在RTX 4090显卡上的推理速度测试表明,GET3DGS平均仅需28毫秒即可生成一个对象,显著快于基于扩散模型的方法,且与GET3D相当。

  3. 消融实验验证

    • 双平面方法相比三平面方法在特征利用率上提高了13%,并在生成性能上取得显著改进。
    • 径向加旋转变形方法优于直接径向变形方法,尤其是在处理频率细节分布不均的情况下。
    • 渐进致密化训练策略减少了训练时间,同时提高了生成质量。

结论与意义
GET3DGS通过结合3D感知GAN与3D高斯点云表示,提出了一种高效且高质量的3D高斯资产生成方法。该方法不仅实现了几何与纹理的分离控制,还显著降低了训练和推理成本。研究的意义在于:
1. 科学价值
提出了点变形场的概念,为3D高斯点云的生成提供了新的思路。
引入渐进致密化训练策略,解决了大规模点云生成中的训练不稳定问题。
2. 应用价值
GET3DGS适用于需要快速生成高质量3D资产的场景,如虚拟现实、游戏开发和自动驾驶仿真。

研究亮点
1. 创新性地提出了点变形场,实现了几何与纹理的分离控制。
2. 渐进致密化训练策略有效提升了训练效率和稳定性。
3. 在多个数据集上取得了优于现有方法的生成质量,特别是在复杂几何结构的捕捉上表现突出。

其他有价值内容
研究还讨论了现有方法(如DiffTF和GaussianCube)的局限性,例如纹理条纹现象和浮动伪影问题,并指出GET3DGS在这些问题上的改进。未来研究方向包括探索基于文本和其他条件的可控生成,以及多模态条件的对齐与控制。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com