关于《一种面向动态环境中机械臂自适应运动规划的趋势感知强化学习方法》的学术研究报告
本文报告了一项由Dexian Wang, Peng Zhang, Pengfei Ding, Junliang Wang 和 Jie Zhang完成的研究。这些作者主要来自东华大学信息科学与技术学院、人工智能研究所，以及人工智能与纺织产业教育部工程研究中心和上海市工业大数据与智能系统工程研究中心。该研究发表于 Engineering Applications of Artificial Intelligence 期刊的第171卷（2026年），文章号为114284。
一、 学术背景
本研究属于机器人学、人工智能与自动控制交叉领域，具体聚焦于动态非结构化环境下的机械臂运动规划这一核心挑战。在服务机器人、人机协作和工业自动化等实际工程应用中，机械臂经常需要在高度动态、部分可观测的环境中操作。动态障碍物、不可预测的人类行为以及快速变化的任务需求，加剧了定位精度、避障能力和操作安全性之间的固有冲突。同时，系统必须依赖不完整且带有噪声的传感器数据来感知环境。这种动态不确定性显著增加了系统复杂性，要求控制策略具备自适应和实时决策的能力。
传统的运动规划方法，如人工势场法、图搜索算法（A*、D*）、基于种群的元启发式算法（遗传算法、粒子群优化）以及基于采样的方法（快速探索随机树RRT），在应对此类环境时存在明显局限。它们通常依赖于精确的环境模型、计算复杂度高、实时性差，或在处理高维连续空间和动态变化时适应性不足。近年来，深度强化学习（Deep Reinforcement Learning, DRL）为机器人轨迹规划提供了无需显式建模、通过交互试错学习最优策略的自适应方案。然而，DRL在动态环境中的实际应用仍面临三大关键挑战： 1. 部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）环境中的不确定性与信念状态不稳定：机器人无法获得完整的环境状态，导致决策偏差。 2. 决策中的多目标任务冲突：例如，精确到达目标与动态避障这两个目标常常相互矛盾，手动设计权衡两者的奖励函数非常困难。 3. 非平稳性（Non-stationarity）导致的策略收敛与泛化挑战：环境动态变化（如障碍物运动）和自适应奖励调整都会导致状态转移和奖励分布随时间变化，破坏强化学习算法收敛所需的平稳性假设。
为了系统性地解决这些挑战，本研究旨在开发一个集成的强化学习框架，使机械臂能够在动态、部分可观测的环境中，自适应地执行精确的末端定位和全身动态避障。
二、 研究详细工作流程
本研究提出了一个名为 TL-ARS-TDKdQ（趋势学习-自适应奖励塑形-基于时序差分误差的Q值知识蒸馏）的集成强化学习框架。该框架并非一个全新的基础算法，而是一个可嵌入主流连续控制DRL算法（如SAC、TD3、DDPG）的模块化增强架构。其核心工作流程围绕三个关键组件展开，并在CoppeliaSim仿真环境中使用一个七自由度KUKA机械臂模型进行验证。
1. 问题建模与实验平台搭建 首先，研究将机械臂的动态避障与定位控制任务形式化为一个部分可观测马尔可夫决策过程（POMDP）。与标准POMDP依赖信念状态不同，本研究采用基于观测序列的决策机制。智能体在每个时间步接收一个包含最近n个观测值的序列，以此捕获环境的时间动态。观测空间包括机械臂的7个关节角、末端执行器（Tool Center Point, TCP）的位置与姿态、目标点的位置与姿态、TCP与目标之间的位置/姿态误差、6个潜在碰撞模块与障碍物的最近距离，以及一个表示任务是否完成的标志位。动作空间是7个关节的连续角度增量。奖励函数由三部分加权组成：定位误差惩罚、碰撞惩罚（当距离低于安全阈值时触发）和姿态保持惩罚（鼓励TCP保持在目标位姿附近）。
实验平台基于CoppeliaSim Edu 4.6构建。模拟环境包含一个7自由度KUKA机械臂，其工作空间内随机生成目标点（蓝色小方块），同时有一个绿色球体作为动态障碍物以恒定速度在目标点附近的立方空间内随机运动。通过Python与CoppeliaSim的远程API进行通信，实现状态获取与控制指令发送。
2. 趋势学习（Trend Learning, TL）模块的开发与实施 * 研究目标：解决部分可观测性带来的环境表征不足问题，使策略能利用历史观测序列中的时间依赖关系。 * 方法与流程：研究在执行器（Actor）和评判器（Critic）网络中各自独立引入了一个长短期记忆网络（LSTM）模块，作为时序观测编码器。这两个LSTM网络分别处理相同的观测序列，但独立优化，为策略决策和价值估计生成趋势感知的潜在状态表示。具体而言，Actor LSTM将观测序列编码为潜在向量，用于生成动作分布（建模为多元对角高斯分布）；Critic LSTM则将观测序列编码为另一个潜在向量，用于与动作一起估计状态-动作值函数（Q值）。这种双LSTM设计使策略和价值函数都能捕捉长期时间相关性，同时避免梯度干扰。经验回放缓冲区也存储序列化的观测转移样本，以供离线策略更新。
3. 自适应奖励塑形（Adaptive Reward Shaping, ARS）模块的开发与实施 * 研究目标：动态平衡定位精度与动态避障这两个冲突的目标，无需手动精细调参。 * 方法与流程：ARS设计了一个基于实时碰撞风险感知的自适应奖励权重调整机制。它为6个潜在碰撞模块的避障子奖励和末端执行器的定位子奖励分别维护动态权重。权重的更新逻辑基于历史违规频率： * 避障权重：每个碰撞模块的权重会根据该模块历史上进入危险距离的次数累加而增加，从而提高其避障奖励的优先级。 * 定位权重：定位任务的权重等于总训练步数减去所有避障模块的权重之和。这意味着，当机械臂频繁接近障碍物时，避障权重上升，定位权重相对下降，系统更关注避障；反之，当环境安全时，定位权重大，系统更关注精确到达目标。 * 此外，为了缓解训练早期探索效率低下的问题，ARS引入了课程学习策略：初期从仅包含定位控制任务的专家经验缓冲区中采样较多数据，引导智能体快速学会基础定位；随着训练进行，逐步过渡到完全使用智能体自身与环境交互产生的数据，以学习复杂的避障行为。采样比例按预定计划衰减。
4. 基于时序差分误差的Q值知识蒸馏（Temporal-Difference Knowledge Distillation Q-value, TDKdQ）模块的开发与实施 * 研究目标：缓解由ARS引入的奖励非平稳性（奖励分布随时间变化）所导致的策略训练振荡和不稳定。 * 方法与流程：TDKdQ在标准的“目标Q网络”之外，引入了一个结构相同的教师目标Q网络。该教师网络会定期从主评判器网络克隆参数，因此它保留了更稳定的历史知识。在训练过程中，关键创新在于基于批量样本的时序差分误差来动态构建软目标Q值。具体步骤为： * 计算当前批次经验的标准目标Q值和教师目标Q值。 * 计算该批次的标准TD误差（目标Q值与当前Q网络估计值之差），并进行归一化处理。 * 使用归一化的TD误差作为融合系数，动态加权融合标准目标Q值和教师目标Q值，生成最终的软目标Q值。当TD误差大时（表明当前估计不稳定），更多地依赖教师网络的稳定知识；当TD误差小时，则更信任当前目标网络的最新反馈。 * 使用这个软目标Q值来计算Critic网络的损失并进行更新。这种方法在稳定性和适应性之间取得了平衡。
5. 集成框架训练与性能评估流程 将TL、ARS、TDKdQ三个模块集成到选定的基础DRL算法（如SAC）中，形成完整的TL-ARS-TDKdQ框架。在CoppeliaSim环境中进行大量训练回合（每回合最多300步，共3000回合）。使用多个性能指标进行评估，包括：奖励收敛所需回合数、收敛后的平均回合奖励、完成任务的平均步数、奖励的标准差（衡量稳定性）以及任务成功率。成功率通过训练后的策略模型进行多轮独立测试（每轮200次）来统计，成功标准为无碰撞且TCP在误差容限内持续保持目标位姿达到指定步数。
三、 主要研究结果
1. TL-ARS-TDKdQ框架的整体有效性验证：研究将所提框架与六种主流连续控制DRL算法（SAC、TD3、DDPG、CQL、DAPG、TQC）结合，在动态避障定位任务上进行了测试。实验结果表明，所有集成了TL-ARS-TDKdQ的算法变体均能成功收敛并完成高难度任务，而许多基线算法（未集成该框架）则无法有效学习或收敛。具体数据如下： * TL-ARS-TDKdQ-SAC 取得了最高的任务成功率（94.5%），收敛后的平均奖励为-32.83，平均任务步长为28.64步，表现出优异的平衡性和稳定性。 * TL-ARS-TDKdQ-TQC 收敛最快（1033回合），平均奖励最高（-27.16），任务步长最短（22.13步），但其成功率略低（91.4%），可能源于其分位数估计的保守性。 * TL-ARS-TDKdQ-TD3 和 TL-ARS-TDKdQ-DDPG 也分别取得了92.8%和91.3%的成功率，证明了框架的通用性。 * 奖励曲线和碰撞次数曲线显示，集成框架的算法能更快达到高奖励平台，且训练过程中的碰撞频率显著降低并趋于稳定，而基线算法则奖励波动大、碰撞频繁或无法提升。
2. 趋势学习（TL）模块的消融实验结果：通过移除TL模块或改变LSTM序列长度进行消融实验。 * 结构消融（无TL）：完全移除LSTM模块导致所有算法变体的性能大幅下降，平均奖励极低（如SAC从-30.32降至-356.88），成功率暴跌（SAC从94.5%降至13.9%），表明在部分可观测动态环境中，时序建模对于提取运动趋势、稳定决策至关重要。 * 时序上下文消融（序列长度n=1）：将LSTM序列长度设为1（即仅使用当前观测）同样导致性能显著劣于最佳序列长度（n=3）。例如，SAC的成功率从94.5%降至86.7%，平均奖励从-30.32恶化至-58.11。这证明了利用短期历史序列的有效性。 * 序列长度影响：实验发现序列长度n=2或3时性能最佳。过长的序列（n=4,7,10）反而导致性能下降，因为引入了冗余或过时信息，可能加剧了长期依赖问题，稀释了对当前关键动态特征的敏感性。
3. 自适应奖励塑形（ARS）模块的消融与泛化实验结果： * 消融实验：与使用固定权重奖励函数的模型对比，ARS机制能动态调整奖励权重，引导智能体从简单的定位任务平稳过渡到复杂的定位加避障任务，显著加速了训练收敛，并找到了更优的权衡点。 * 泛化能力测试：在更严格的测试条件下（定位精度要求从0.025米提高到0.015米，保持步数从5步增加到9步），使用ARS训练的模型（如TL-ARS-TDKdQ-SAC）依然保持了较高的成功率（例如，在精度0.015m、保持9步下成功率为58.5%），而使用固定权重的对照模型成功率急剧下降至接近0%。这证明了ARS赋予策略更强的鲁棒性和对任务难度变化的适应能力。
4. TDKdQ模块的消融实验结果：在动态奖励扰动（ARS）环境下，对比集成TDKdQ与不集成TDKdQ的算法变体。 * 训练稳定性：集成TDKdQ的算法表现出更平滑的奖励收敛曲线和更低的奖励波动标准差。例如，TL-ARS-TDKdQ-SAC相比未集成版本，其平均滑动奖励标准差和最大滑动奖励标准差均显著降低。 * 收敛成功率：进行20次独立训练运行统计收敛成功率，集成TDKdQ的算法变体（如SAC, TD3）实现了100%的收敛成功率，而未集成TDKdQ的版本收敛成功率较低（如SAC为75%，TD3为70%）。这表明TDKdQ通过教师网络提供的稳定先验知识和TD误差自适应的融合机制，有效缓解了非平稳奖励引起的价值函数估计振荡，极大地提升了训练过程的鲁棒性，防止了策略崩溃。
四、 研究结论与意义
本研究成功提出并验证了TL-ARS-TDKdQ这一集成强化学习框架，用于解决动态、部分可观测环境中机械臂运动规划的核心挑战。该框架通过趋势学习（TL） 捕捉时序依赖以应对不确定性，通过自适应奖励塑形（ARS） 动态平衡冲突的多目标任务目标，并通过基于时序差分误差的Q值知识蒸馏（TDKdQ） 稳定非平稳环境下的策略学习。广泛的仿真实验表明，该框架能显著提升多种主流DRL算法在动态机械臂控制任务中的收敛速度、控制稳定性和任务成功率。
科学价值：本研究为POMDP建模下的机器人连续控制问题提供了一个系统性的解决方案范式。它并非单一算法的改进，而是一个可插拔的模块化增强架构，分别针对感知、奖励设计和学习稳定性这三个DRL应用中的关键瓶颈提出了创新性方法（序列观测编码、历史频率驱动的自适应奖励、TD误差引导的知识蒸馏），对推动强化学习在复杂、非平稳现实场景中的应用具有理论参考价值。
应用价值：所提方法在仿真中展示了处理高度动态、需精确操作任务（如人机协作、复杂装配）的潜力。其实现的实时控制周期（3-8毫秒）满足工业应用需求，为开发更智能、更自适应、更安全的下一代工业机器人和服务机器人控制器提供了可行的技术路径。
五、 研究亮点
六、 其他有价值内容
论文在“相关工作”部分对DRL用于机械臂运动规划、POMDP不确定性处理、多目标决策冲突解决以及非平稳环境下的策略学习等领域的现有研究进行了全面且深入的综述，清晰地定位了本研究的创新点。此外，论文提供了非常详细的实验参数设置（见表2），确保了研究的可复现性。对每个模块都给出了清晰的算法伪代码（算法1-3），便于其他研究者理解和实现。