类型a
主作者及其机构：本研究的主要作者包括Lizhi Zhao、Xuequan Lu、Runze Fan、Sio Kei Im和Lili Wang。其中，Lizhi Zhao、Runze Fan和Lili Wang隶属于北京航空航天大学虚拟现实技术与系统国家重点实验室以及计算机科学与工程学院，同时也与深圳鹏城实验室有关联；Xuequan Lu则来自澳大利亚拉筹伯大学计算机科学与信息技术系；Sio Kei Im隶属于中国澳门理工大学。该研究已被《IEEE Transactions on Visualization and Computer Graphics》期刊接收，并预计于2024年6月发表。
学术背景：本研究属于计算机图形学与虚拟现实领域，特别关注手部化身动画的实时3D高斯渲染技术。随着增强现实（AR）和虚拟现实（VR）技术的发展，将人类的物理世界与计算机的虚拟世界混合的需求日益增加。手作为创建沉浸式人机交互体验的关键部分，其真实感化身的渲染和动画制作对于以人为中心的AR/VR应用至关重要。然而，现有的方法在计算需求和训练视图数量上存在显著限制。因此，本研究旨在开发一种基于高斯的方法，以实现从稀疏视图图像中高效自由视角和自由姿态的手部化身动画。
详细工作流程：本研究的工作流程主要包括以下几个步骤：
初始化与网络估计：首先，在MANO模型表面初始化未变形的规范高斯点(g_c)，并通过标准线性混合蒙皮（LBS）获得初始姿态高斯点(g_p)。接着，通过一个U-Net编码器提取规范特征(f_c)和姿态特征(f_p)，并使用两个MLP解码器分别预测高斯形状基(s)、残差蒙皮权重(\hat{w})、混合系数(c)、残差骨架回归器(r)以及颜色和尺度属性(a)。
手部高斯混合形状（HGBS）建模：提出了一种新的手部高斯混合形状（Hand Gaussian Blend Shapes, HGBS），用于优化规范高斯点的位置偏移，从而模拟不平滑的手部表面，保留真实的外观细节（如指甲和皱纹），同时确保不同手部姿态下的几何特征一致性。HGBS由姿态无关的高斯形状基和姿态依赖的混合系数组成，通过线性混合生成位置偏移。
带神经残差骨架的LBS矫正：提出了神经残差骨架（Neural Residual Skeleton, NRS）和残差蒙皮权重（Residual Skinning Weights, RSW），用于校正因几何偏移导致的LBS变形不准确问题。NRS通过学习的姿态回归器从位置偏移中回归得到，并与预定义的MANO骨架结合，形成矫正后的LBS。
训练策略：采用两阶段优化过程训练网络。第一阶段优化姿态参数(\theta)，第二阶段固定(\theta)，采用多种损失函数监督训练过程，包括L1损失、SSIM损失、LPIPS损失以及位置偏移和高斯尺度属性的L2正则项。
主要结果：实验结果显示，GaussianHand在InterHand2.6M数据集上的三个序列中均表现出最佳渲染质量，仅需20个训练视图即可达到PSNR分别为32.31、30.79和32.12的优异成绩，超越了先前最先进的LiveHand方法。即使在极端条件下（仅5个稀疏训练视图），GaussianHand仍能保持竞争力，展示了其一致性和对新视角的鲁棒性。此外，GaussianHand实现了最高的渲染速度，达125帧每秒（FPS），比实时方法LiveHand快25 FPS。
结论与价值：本研究提出的GaussianHand是首个基于高斯的可动画手部化身渲染管道，能够在自由姿态和自由视角下实现高质量和高效率的手部外观渲染。HGBS和NRS两个创新组件分别捕捉详细的几何特征并维持不同姿态的一致性，同时校正LBS变形中的不准确性。定量评估和可视化实验表明，GaussianHand在渲染质量和效率方面显著超越当前方法，达到了最先进的性能。消融研究进一步验证了所提组件的有效性，用户研究显示其渲染结果显著提高了用户的主观感知评分。
研究亮点：本研究的重要发现包括：1）GaussianHand在稀疏视图条件下实现了高质量渲染，仅需5或20个训练视图即可显著优于现有方法所需的139个视图；2）创新地引入了HGBS和NRS，有效解决了几何一致性与姿态变形准确性的问题；3）实现了高达125 FPS的实时渲染速度，远超现有方法。这些成果不仅推动了手部化身动画领域的技术进步，还为未来AR/VR应用提供了重要的技术支持。
其他有价值内容：本研究还探讨了潜在的局限性及未来研究方向，包括优化网络结构以提高可解释性、考虑动态光照效果、处理双手互动复杂性以及解决输入驱动姿态中的自穿透问题。此外，手部化身建模可能带来的社会挑战也值得关注，例如隐私保护和伦理法规的制定。