基于两阶段Transformer的运动中间帧生成方法研究报告
一、 研究团队与发表信息
本研究报告旨在向学术界介绍一项在计算机图形学与动画生成领域的重要研究成果。该研究由来自浙江大学CAD&CG国家重点实验室和网易伏羲AI实验室的Jia Qin，以及来自浙江大学CAD&CG国家重点实验室的Youyi Zheng（通讯作者）和Kun Zhou（通讯作者）共同完成。研究成果以论文形式发表，标题为“Motion In-betweening via Two-stage Transformers”。该论文于2022年12月正式发表于计算机图形学领域的顶级期刊《ACM Transactions on Graphics》第41卷第6期，文章编号为184。
二、 学术背景与研究目标
本研究隶属于计算机图形学，具体聚焦于角色动画生成中的“运动中间帧生成”（Motion In-betweening）任务。传统手绘动画或关键帧动画制作中，动画师需要绘制关键动作（关键帧），而关键动作之间的过渡帧（中间帧）则需大量手动绘制或通过样条插值自动生成。手动绘制耗时费力，而自动样条插值往往缺乏运动细节和真实感，动画师仍需花费大量时间调整切线或添加额外关键帧来丰富细节。
近年来，基于深度学习的方法为该任务提供了新的解决方案，能够基于给定的上下文帧和目标帧，生成更自然、细节更丰富的过渡动画。先前的研究主要采用了循环神经网络（RNN）、卷积神经网络（CNN）和Transformer等架构。其中，RNN（如LSTM）因其序列处理特性，训练和推理速度较慢；CNN虽然能并行处理，但其感受野有限，难以建模长序列中远距离帧之间的依赖关系；而Transformer凭借其全局注意力机制，在建模长程依赖方面展现出优势。然而，已有的基于Transformer的方法，要么采用了完整的编码器-解码器架构，要么在编码器之外额外使用了1D卷积层，模型参数量较大，且在生成长度超出训练所见范围的过渡序列时，泛化能力存在局限。
因此，本研究的目标是提出一个高效、鲁棒且可控的深度学习框架，以解决可变长度运动中间帧的生成问题。具体而言，研究旨在：1）设计一个仅使用Transformer编码器和掩码自注意力机制的轻量级架构，在减少可训练参数的同时超越现有方法的性能；2）通过创新的位置编码方法，增强模型对长于训练所见序列的生成鲁棒性；3）提供对生成结果的精细控制，支持在过渡序列内部施加全身或部分姿态约束，使工具对动画师更友好；4）在公开基准数据集上实现最先进的性能，并验证其在实际动画制作流程中的应用价值。
三、 研究方法与详细流程
本研究提出了一种新颖的两阶段Transformer框架，核心思想是将中间帧生成任务分解为“粗略过渡生成”和“运动细节精修”两个步骤，分别由两个基于Transformer编码器的网络——上下文Transformer和细节Transformer——依次完成。整个流程采用非自回归（Non-autoregressive）方式，一次性生成整个过渡序列，显著提升了推理速度。
1. 数据表示与预处理： 研究使用LAFAN1数据集进行训练与评估。该数据集包含496,672帧以30Hz采集的人体运动捕捉数据，涵盖行走、奔跑、攀爬、舞蹈等多种动作。运动姿态采用局部关节旋转（6D旋转表示法，以避免四元数的歧义性和不连续性）和根关节世界位置进行表示。在输入网络前，数据经过Z-score标准化处理。为了降低学习复杂度，对每个运动片段进行预处理，使得过渡开始时的根关节朝向+X轴，且其XZ坐标归零。
2. 上下文Transformer网络（第一阶段 - 粗略生成）： 该网络的目标是基于输入的上下文帧（通常为10帧）、一个目标帧以及可选的中间姿态约束，生成一个初步的、全局合理的过渡动画。 * 网络结构：采用编码器-解码器结构，中间包含6层Transformer编码器层。输入是包含占位符（对缺失的过渡帧进行线性插值填充）的运动片段和一个二进制掩码（指示哪些帧/关节是已知或受约束的）。编码器首先将输入投影到512维的潜在空间。 * 核心创新 - 位置编码： * 关键帧位置编码：本研究创新性地提出了关键帧位置编码。与标准Transformer中使用绝对位置编码不同，该编码使用一个多层感知机（MLP）来学习每个帧相对于最后一个上下文帧和目标帧的相对位置。这使得模型能更好地理解过渡帧与已知关键帧的时空关系，对于生成长过渡序列至关重要。 * 学习型相对位置编码：在Transformer层的自注意力机制中，本研究采用了学习型相对位置编码。同样通过一个MLP来学习任意两帧之间相对距离的编码表示，而非使用固定大小的查找表。这增强了模型处理训练时未见过的长序列的能力。 * 这两种位置编码被添加到网络输入和注意力计算中，是模型实现优异泛化能力的关键。 * 掩码自注意力：使用了掩码自注意力机制，确保只有上下文帧、约束帧和目标帧之间可以相互关注，而缺失的过渡帧在初始阶段不被关注。 * 损失函数：训练时使用三个损失项：局部旋转L1损失、全局关节位置L1损失（通过前向运动学计算，能隐式地对关节误差进行层级加权）以及平滑度损失（最小化相邻帧间全局位置的变化，确保过渡两端连续性）。 * 后处理：在推理阶段，对上下文Transformer的输出应用一个简单的后处理步骤，通过优化一个全局偏移量，最小化过渡序列在首尾两端与上下文/目标帧连接处的曲率，以进一步平滑连接点。
3. 细节Transformer网络（第二阶段 - 细节精修）： 该网络以第一阶段生成的粗略过渡作为输入，目标是修复运动细节（如脚部滑动）并进一步提升运动质量。 * 网络结构：与上下文Transformer结构类似，但移除了关键帧位置编码，因为此时粗略的时空结构已由第一阶段确定。 * 输入与注意力：输入运动片段中的过渡部分由第一阶段的输出填充。此时，由于输入中已无占位符，注意力掩码被放宽，允许所有帧（上下文、过渡、目标）自由地相互关注，以便进行全局优化。 * 额外输出与损失：细节Transformer除了精修姿态外，还额外预测双脚和脚趾的接触信息（0/1二值）。为此，在损失函数中引入了接触重建损失和脚部滑动损失。脚部滑动损失在预测的接触发生时，惩罚脚部关节的速度，有效减轻了脚部滑动伪影。
4. 训练流程： 研究采用两阶段独立训练策略。首先，在随机采样过渡长度和约束帧的情况下训练上下文Transformer。冻结其参数后，再使用上下文Transformer的预测结果作为输入，训练细节Transformer。这种分阶段训练策略被证明比使用单一网络并叠加所有损失项效果更优。
5. 实验设计与评估： 研究在LAFAN1数据集上进行了严格的基准测试。训练集来自前4个角色，测试集来自第5个角色，确保了泛化性评估。评估指标包括：L2P（全局关节位置误差）、L2Q（关节旋转四元数误差）和NPSS（归一化功率谱相似度，在频域评估运动相似性）。模型在训练时所见的最大过渡长度为30帧（1秒），但在测试时评估了5、15、30以及45帧（超出训练长度）的生成效果，以检验模型的泛化能力。
四、 主要研究结果与分析
本研究进行了详尽的定量比较、定性分析和消融实验，结果充分证明了所提方法的优越性。
1. 定量性能对比： 在LAFAN1基准测试中，本研究提出的完整两阶段Transformer框架在所有评估指标（L2P, L2Q, NPSS）和所有过渡长度（5, 15, 30, 45帧）上均显著超越了所有对比方法。对比方法包括：线性/SLERP插值基线、全卷积网络（FCN）基线、基于RNN的先进方法ERD-QV、基于Transformer和1D卷积的MC-Trans，以及同期工作δ-Interp（一种基于Transformer编码器-解码器，在SLERP插值基础上预测增量运动的方法）。 * 关键优势：在30帧（训练所见最长）的过渡上，本方法平均领先现有最佳方法约16%。在45帧（超出训练长度50%）的过渡上，领先优势扩大到平均55%。这直接证明了本方法在生成长过渡序列方面具有卓越的鲁棒性和泛化能力。相比之下，δ-Interp等方法在超长过渡上性能急剧下降。 * 效率：本方法在推理速度上比自回归的RNN方法（ERD-QV）快约4倍，且处理时间对序列长度不敏感，得益于其非自回归的并行生成特性。
2. 定性结果分析： 可视化结果清晰展示了本方法的优势： * 与FCN相比，本方法生成的过渡运动细节更丰富，且对超长过渡的适应性更强。 * 与ERD-QV相比，本方法生成的过渡在时间维度上关节速度分布更合理，避免了因自回归生成缺乏全局规划而导致的、在接近目标帧时的姿态突变。 * 与δ-Interp相比，本方法直接预测完整运动，避免了δ-Interp因依赖SLERP初始值而可能引入的伪影。当SLERP结果与真实运动趋势不符时，δ-Interp预测的增量运动无法有效修正，导致生成结果的后半段与SLERP相似，缺乏细节。而本方法则能生成全局一致、细节丰富的运动。
3. 消融实验验证： 研究通过系统的消融实验验证了各个核心组件的有效性： * 位置编码的贡献：实验表明，移除或替换提出的关键帧位置编码和学习型相对位置编码会导致性能下降，尤其是在45帧的长过渡上性能恶化严重。使用标准的正弦绝对位置编码或相对位置编码的模型，其性能甚至不如RNN方法。这强有力地证明了两种新型位置编码对于模型处理可变长度、尤其是超长过渡序列至关重要。 * 两阶段设计的必要性：实验比较了仅使用上下文Transformer（但包含所有损失项）与完整两阶段框架的性能。结果显示，单一阶段无法达到两阶段设计的性能水平，证实了“先生成粗略全局过渡，再精修细节”的两阶段策略的有效性。 * 损失函数与掩码的作用：消融实验证实了平滑度损失对于保证过渡连续性的作用，以及脚部接触损失对于减轻脚部滑动伪影的贡献。同时，验证了输入掩码和注意力掩码对于区分数值与占位符、防止注意力机制被污染的重要性。
4. 在四足动物数据集上的泛化： 研究还在一个四足动物运动数据集上进行了测试，训练模型生成长达60帧（2秒）的过渡。结果表明，本方法同样能有效生成高质量的四足动物运动过渡，证明了其泛化到不同骨骼结构角色的能力。
5. 工具化与用户研究： 研究将框架集成到Autodesk Maya这一主流动画制作软件中，开发了一个生产就绪的工具。该工具的核心特色是支持在过渡序列内部施加全身或部分姿态约束，赋予了动画师对生成结果的精细控制能力。例如，动画师可以固定角色的根关节轨迹，而让系统生成其余身体部位的自然运动。一项小规模用户研究（3位专业动画师）显示，使用该工具可以平均将完成特定动画过渡任务的时间缩短约100%，显著提升了工作效率。
五、 研究结论与价值
本研究成功提出了一个基于两阶段Transformer的运动中间帧生成框架。该框架通过创新的网络设计（仅使用编码器和掩码注意力）、新颖的位置编码策略（关键帧位置编码和学习型相对位置编码）以及分阶段的生成-精修流程，实现了在公开基准测试上的最先进性能。其核心价值体现在： * 科学价值：为运动生成领域提供了一种高效、鲁棒的Transformer应用范式，证明了通过精心设计的位置编码和两阶段策略，可以克服Transformer在生成长序列任务中的泛化瓶颈，为后续研究提供了重要参考。 * 应用价值：所开发的方法不仅性能优越，而且推理速度快，并提供了对生成结果的关键控制接口（姿态约束）。这使得其能够无缝集成到实际动画生产流程中，作为动画师的高效辅助工具，在保证质量的同时大幅降低中间帧制作的工作量，具有明确的工业应用前景。
六、 研究亮点
七、 其他有价值的内容
研究还讨论了在实际应用中可能遇到的局限性，例如当输入上下文过于模糊或与训练数据分布差异过大时，可能产生不理想的过渡。不过，研究指出通过添加姿态约束可以有效引导系统生成期望的结果。此外，尽管细节Transformer减轻了脚部滑动，但完全消除可能仍需结合逆向运动学进行后处理。这些讨论为方法的实际部署和未来改进提供了方向。