基于对抗差分判别器的物理运动模仿：一种无需手动设计奖励函数的多目标优化新方法
作者、机构与发表信息
本研究报告由加拿大西蒙菲莎大学的Ziyu Zhang、Dun Yang、Yi Shi、Xue Bin Peng，美国索尼PlayStation的Sergey Bashkirov、Michael Taylor共同完成。其中，Ziyu Zhang与Sergey Bashkirov为并列第一作者。该研究以题为“Physics-based Motion Imitation with Adversarial Differential Discriminators”的论文形式，于2025年12月15日至18日，在ACM SIGGRAPH Asia 2025 Conference Papers (SA Conference Papers ‘25)上发表。
学术背景
本研究隶属于计算机图形学与人工智能交叉领域，具体方向为基于物理的角色动画与强化学习。近年来，数据驱动的强化学习方法极大地推动了物理角色动画的发展，使得从简单的行走行为到高度动态、复杂的技能模仿成为可能。然而，强化学习方法的有效性严重依赖于奖励函数的设计。传统的运动跟踪方法（如DeepMimic）依赖于精心设计、手工调整的加权奖励函数，这个过程不仅需要深厚的领域知识，耗时耗力，而且设计的奖励函数往往难以泛化到多样化的技能上。另一方面，对抗模仿学习（Adversarial Imitation Learning）方法（如AMP）通过从数据中学习奖励函数，避免了手动工程，但其目标在于匹配参考动作的整体风格分布，而非精确复现特定的动作序列，这在需要高保真度模仿的应用（如动画关键帧处理）中存在局限。
因此，本研究旨在解决一个核心问题：如何在不依赖手工奖励工程的前提下，让物理模拟角色能够高精度地模仿复杂多样的参考运动？ 同时，该问题可抽象为一个更通用的多目标优化（Multi-Objective Optimization, MOO）问题。现有的MOO方法（如加权求和）同样面临权重选择敏感、难以捕捉目标间非线性关系等挑战。为此，本研究提出了一个新颖的对抗多目标优化框架，其核心是一种名为“对抗差分判别器”（Adversarial Differential Discriminator, ADD）的技术，旨在为包括运动模仿在内的多目标强化学习任务提供一种自动、动态且非线性的目标聚合方案。
研究详细流程
本研究的主要流程可分为三个核心部分：ADD框架的理论构建、在运动模仿任务中的应用实现，以及在非运动模仿任务上的泛化验证。
1. ADD框架的理论构建与算法设计
研究首先将多目标优化问题形式化。假设有n个需要最小化的非负损失函数 ( li(\theta) )，传统方法通过加权求和 ( \min\theta \sum_i w_i l_i(\theta) ) 将其聚合为单一目标。这种方法线性、静态，且权重 ( w_i ) 需要手动调整。
本研究提出的ADD框架则引入了一个对抗性差分判别器 ( D(\delta) )。这里，差分向量 ( \delta = (l_1(\theta), …, l_n(\theta)) ) 代表了模型当前表现与理想表现（零误差）在各目标上的差距。ADD通过一个极小极大博弈来优化：
[ \min_\theta \max_D \log(D(0)) + \log(1 - D(\delta)) ]
其中，( D(0) ) 是判别器对理想零差分向量的评分，( D(\delta) ) 是对当前模型产生的差分向量的评分。判别器的目标是区分“理想解”（零向量）和“非理想解”（当前模型的δ），而模型（策略）的目标是生成使δ接近零的样本，从而“欺骗”判别器，使其给出高分。
关键创新点一：判别器 ( D ) 在训练中仅接收一个正样本，即零向量 ( \delta = 0 )。研究表明，即使只有一个正样本，该判别器依然能有效指导优化过程。
关键创新点二：为了防止判别器退化为一个对零向量输出1、对其他任何向量输出0的简单函数（从而导致梯度消失），研究引入了梯度惩罚（Gradient Penalty, GP）正则项。具体地，惩罚项为 ( \lambda{GP} |\nabla\phi D(\phi)|_{\phi=\delta}|_2^2 )，施加在负样本（即模型产生的δ）上。这与之前一些将梯度惩罚施加在正样本上的工作不同，被证明对ADD框架更为有效。
最终，模型（策略）的奖励函数被定义为 ( r_t = -\log(1 - D(\delta_t)) )。通过这种方式，判别器自动学习了一个非线性的、动态的目标聚合函数，能够根据训练进程自动关注更难优化的目标组合。
2. 在运动模仿任务中的应用与实验设计
研究将ADD应用于物理角色运动模仿任务。在此场景下，差分向量 ( \delta_t ) 直接定义为在时间步t时，模拟角色状态 ( s_t ) 与参考运动目标状态 ( \hat{s}_t ) 在关键特征上的差异，即 ( \delta_t = \phi(\hat{s}_t) \ominus \phi(s_t) )。特征映射 ( \phi(\cdot) ) 提取了根关节和身体各关节的全局/局部位置、旋转、线速度和角速度等信息。
研究对象与设置： * 模拟角色：28自由度的模拟人形角色和26自由度的索尼Eval机器人。 * 参考运动数据：包括单个高难度技能动作片段（如后空翻、侧手翻、爬行、双金刚跳越障碍等），以及大规模运动数据集（如AMASS的DanceDB子集和LAFAN1数据集的子集，后者包含超过一小时的多种运动技能）。 * 基线方法：与两种经典方法对比： * DeepMimic：基于手工设计、加权求和奖励函数的精确运动跟踪方法。 * AMP：基于对抗模仿学习、进行运动风格分布匹配的方法。 * 策略训练：采用近端策略优化（PPO）算法训练策略网络。策略、价值函数和判别器均采用全连接神经网络。训练时，角色从参考运动中随机采样初始状态开始。
实验流程与评估： 1. 策略收集轨迹：策略控制角色与环境交互，收集状态序列。 2. 计算差分与奖励：对于每一时间步，计算当前状态与对应参考目标状态的差分向量 ( \delta_t )，输入判别器 ( D ) 得到评分，并转换为奖励 ( r_t )。 3. 模型更新：使用收集的经验数据，按照算法1循环更新判别器（公式8）、价值函数和策略（PPO）。 4. 性能评估：主要使用两个量化指标： * 位置跟踪误差：衡量角色各关节及根关节位置与参考运动之间的平均差距。 * 自由度速度跟踪误差：衡量关节角速度的差异，反映运动的平滑度。 5. 对比分析：在多种技能和数据集上，对比ADD与DeepMimic、AMP的跟踪精度、学习曲线稳定性以及运动视觉质量。
3. 在非运动模仿任务上的泛化验证
为了证明ADD的通用性，研究将其应用于两个标准强化学习基准任务： * Walker任务：训练一个2D步行机器人奔跑，包含3个目标（前进速度、保持直立、控制能耗）。 * Unitree Go1四足机器人行走任务：训练机器人遵循转向指令行走，包含12个竞争性目标（如线速度跟踪、角速度跟踪、保持基座稳定、平滑控制等）。 在这两个任务中，差分向量 ( \delta ) 由任务指定的各目标误差值构成（如实际速度与目标速度的差）。研究将ADD与这些任务中经过精心手工调优的奖励函数进行对比，评估其性能、样本效率和学习行为的质量。
主要结果
1. 运动模仿任务结果： * 高精度模仿：ADD能够使模拟人形和Eval机器人高精度地模仿各种敏捷和杂技技能，包括极具挑战性的跑酷动作（如双金刚跳越障碍、攀爬）。视觉结果显示（论文图2、3），其模仿质量与最先进的运动跟踪方法相当。 * 量化性能对比：如表1和表2所示，在大多数测试技能上，ADD达到了与DeepMimic相近的位置跟踪误差，且在关节速度误差（运动平滑度）上往往表现更优。例如，在DanceDB数据集上，ADD的位置误差为0.044m，DeepMimic为0.045m，但ADD的自由度速度误差（0.387 rad/s）显著低于DeepMimic（0.504 rad/s），表明ADD能产生更平滑的运动。 * 稳定性与鲁棒性：如图4学习曲线所示，ADD在不同随机种子下的训练表现出比DeepMimic更好的一致性。DeepMimic在模仿后空翻、侧手翻等动态动作时，有一半的几率会陷入局部最优（如站立不动），而ADD则能更稳定地学习目标技能。 * 无需手动调优：ADD最大的优势在于避免了DeepMimic所需的繁琐奖励函数权重和尺度参数调优。研究指出，将DeepMimic从人形角色迁移到Eval机器人时，需要重新调整超参数才能保持良好性能，而ADD则无需此过程，展示了更好的通用性和易用性。 * 与AMP的对比：AMP作为分布匹配方法，其位置跟踪误差远高于ADD和DeepMimic（例如在跑步技能上，AMP误差0.163m，ADD和DeepMimic约为0.013-0.165m），这证实了AMP不适合需要精确帧级复现的任务。
2. 复合任务（运动模仿+目标转向）结果： 在让角色同时执行模仿参考运动和按指定速度方向移动的任务中，ADD通过将转向目标误差也纳入差分向量，自动平衡了模仿精度和任务完成度。如表3所示，ADD在跑步和行走技能上，既能保持较低的位置跟踪误差，又能实现较低的目标速度误差，综合表现最优。
3. 非运动模仿任务结果： * Walker任务：ADD学习到的策略能产生与手工奖励函数质量相当的直立、快速奔跑行为（图5）。最终回报值与手工方法相近（ADD: 0.691, 手工: 0.705），且学习曲线显示ADD具有更好的训练稳定性（图7）。 * Go1四足机器人任务：ADD学习到的步态更自然，表现为更高的抬脚和更长的步幅（图6）。虽然在线速度命令跟踪上略逊于手工奖励，但ADD实现了更低的滚转和俯仰角速度（表明机器人基座更稳定）以及更低的关节加速度（控制更平滑），这对于实际机器人部署是更可取的特性（图8）。
4. 梯度惩罚消融实验： 研究对比了不同梯度惩罚配置的效果（图9）。结果表明，将梯度惩罚应用于负样本（neg）或同时应用于正负样本（both）能取得最佳性能，显著优于不适用梯度惩罚（none）、仅用于正样本（pos）或使用WGAN-GP插值方法。这验证了针对ADD框架，在负样本上施加梯度惩罚对于稳定训练和实现高跟踪精度的关键作用。
结论与意义
本研究提出并验证了对抗差分判别器（ADD），这是一个新颖的、基于生成对抗网络（GAN）的多目标优化框架。当应用于物理角色运动模仿时，ADD能够自动学习并动态平衡多个跟踪目标，使模拟角色能够高保真地模仿广泛而复杂的技能，其性能与依赖于大量手工奖励工程的最先进方法（DeepMimic）相媲美，甚至在某些方面（如运动平滑度、训练稳定性）更优。
科学价值与应用价值： 1. 方法学贡献：ADD为多目标优化问题提供了一种通用的、自动化的解决方案。它用学习的非线性判别器取代了手工调参的线性加权和，能够自动捕捉并权衡不同目标间的复杂关系，减轻了对领域专家知识和繁琐参数调优的依赖。 2. 在角色动画领域的应用价值：该技术极大地简化了高质量物理角色控制器的创建流程。动画师和开发者只需提供目标运动数据，ADD便能自动训练出精确跟踪该运动的控制器，降低了制作物理模拟动画的技术门槛和成本，对游戏、影视特效等领域有直接应用前景。 3. 在机器人学领域的潜力：在Go1四足机器人任务上的成功表明，ADD可用于训练满足多项目标约束（如稳定性、能效、任务精度）的机器人运动策略，且能产生更自然、更平滑的控制信号，有利于实际机器人的部署。
研究亮点
其他有价值的内容
论文还简要讨论了当前方法的局限性和未来方向。例如，ADD有时也会收敛到局部最优行为（如在模仿翻滚动作时，角色可能只学会躺下再站起）。未来的工作可以探索将ADD与大规模运动数据集训练相结合，以学习更通用的控制器，或将其应用于计算机视觉、自然语言处理等其他领域的多目标/多任务问题中。