分享自:

通过演员-评论家学习协调分层控制策略中的规划与跟踪

期刊:2024 IEEE 63rd Conference on Decision and Control (CDC)

本文提出了一种基于强化学习的分层控制策略联合训练算法,用于同时学习轨迹规划器与跟踪控制器。该研究由 University of Pennsylvania 的 Fengjun Yang 和 Nikolai Matni 完成,论文发表于 2024 年 IEEE 第 63 届决策与控制会议(CDC),会议于 2024 年 12 月 16 日至 19 日在意大利米兰举行。研究得到了 NSF 奖项 SLES-2331880、ECCS-2045834、ECCS-2231349 以及 AFOSR 奖项 FA9550-24-1-0102 的部分资助。

研究的学术背景植根于分层控制体系结构在现代信息物理系统中的广泛应用,例如电力网络、通信网络和自主机器人。典型的自主机器人通常包含决策、轨迹优化和低层控制三个层次。然而,尽管分层控制架构已被广泛使用,但在数据驱动场景下,仍缺乏一个具有原则性的设计框架。现有方法通常假设低层跟踪控制器是预先给定的,或者仅通过启发式方式协调规划层与跟踪层。本研究旨在弥补这一空白,通过从最优控制问题出发,提出一种原则性的方法联合学习轨迹规划器与跟踪控制器,并引入对偶网络以协调两个层次之间的交互。其核心目标是在保持策略可解释性与模块化的同时,获得接近最优的控制性能。

研究的工作流程从最优控制问题的重新表述开始。作者考虑一个离散时间有限时域最优控制问题,其目标是极小化状态代价与输入代价的期望,同时满足动力学约束、状态约束和输入约束。通过引入冗余变量 r=x 并构造部分增广拉格朗日函数,作者将原问题转化为对偶上升的形式。对偶上升的每次迭代包括一个原始更新步骤和一个对偶更新步骤。原始更新可以进一步分解为两个嵌套的优化问题:一个轨迹规划问题,其在满足状态约束的前提下选择最优参考轨迹 r;一个跟踪问题,其针对扰动后的参考轨迹 r̃=r+ν 求解一个带二次跟踪代价的最优控制问题。理论分析表明,在对偶变量取局部最优值 ν* 时,规划层产生的参考轨迹与跟踪层实际执行的轨迹一致,即 r*=x*。这一发现揭示了对偶变量在协调规划层与跟踪层中的关键作用,促使作者将学习对偶变量作为算法设计的核心要素。

在此基础上,作者提出了分层策略的参数化方法。整个策略由三个可学习组件构成:对偶网络 vθ,用于从初始条件 ξ 预测局部最优对偶变量 ν*;低层跟踪策略 πtrack_φ,用于逼近跟踪问题的最优反馈控制器;跟踪价值函数 pπtrack_ψ,用于预测给定参考轨迹下跟踪策略将产生的二次跟踪代价。轨迹规划器 πplan_θ,ψ 通过求解一个显式优化问题生成参考轨迹,其目标函数包含标称状态代价 c® 和学习到的跟踪代价 pπtrack_ψ(r+vθ(ξ);ξ),并受状态约束 r∈X 的限制。这种参数化方式使规划器能够考虑跟踪控制器的实际能力,同时通过对偶网络对参考轨迹进行预补偿,以减少跟踪偏差。

对于跟踪控制器和价值函数的学习,作者采用了强化学习中的演员-评论家方法。具体做法是构造一个增广系统,其状态由原系统状态和一段 h 步的参考轨迹拼接而成。增广系统的代价函数被设置为与跟踪问题的二次代价一致,即状态偏差的加权平方和加上输入代价。随后,作者使用 TD3 算法作为演员-评论家求解器,在增广系统上联合学习跟踪策略与价值函数。值得注意的是,跟踪控制器和价值函数都依赖于时间步,但由于本文处理的问题具有有限时域,作者在实验中将它们近似为时不变函数,并验证了这种近似在合理的时间范围内是可行的。

对偶网络的学习过程模拟了对偶上升更新。在每次迭代中,算法采样一批初始条件,利用当前参数生成参考轨迹 ri 和扰动后的参考轨迹 r̃i=ri+vθ(ξi)。然后将扰动后的参考轨迹送入跟踪控制器,得到实际执行的轨迹 xi。对偶网络参数 θ 的更新方向为 ri-xi 与 vθ 关于 θ 的雅可比矩阵的乘积,更新步长由学习率 η 控制。这一更新规则与经典对偶上升中 ν+=ν+(r-x) 的形式一致,其直观含义是:如果参考轨迹大于实际轨迹,则增大对偶变量,反之则减小。需要注意的是,在计算梯度时,作者刻意不通过 ri 和 xi 对 θ 的依赖进行反向传播,这与对偶上升中不对原始更新进行微分的做法一致。

作者在理论上分析了无约束线性二次调节器(LQR)情况下算法的收敛性。在 LQR 设定下,最优对偶变量 ν* 是初始条件 ξ 的线性函数,因此对偶网络被参数化为线性映射 vθ(ξ)=θξ。作者首先证明了当规划问题和跟踪问题都被精确求解时,对偶网络参数的更新在期望意义下以线性速率收敛到最优参数 θ。进一步,作者考虑了跟踪控制器存在近似误差的情形,将价值函数的扰动建模为二次型扰动,将控制动作的扰动建模为线性扰动,并利用扰动分析表明,当跟踪误差足够小时,对偶网络参数将收敛到 θ 的一个邻域内,该邻域的半径与跟踪控制器的误差大小呈多项式关系。这一结果为算法的鲁棒性提供了理论保证。

实验部分在三个场景中验证了算法的有效性。第一个场景是无约束 LQR 问题。作者在系统维度 dx=du=2、4、6、8 的情况下随机采样了动力学矩阵,并比较了学习策略与直接求解最优控制问题所得到的代价。结果表明,学习策略在所有系统规模下都实现了接近最优的性能,相对代价在 1.004 到 1.031 之间,平均跟踪偏差低于 0.01。作者还可视化了训练过程中对偶网络参数与最优参数的差值,观察到误差先呈指数衰减后进入平台期,验证了理论结果。为了凸显对偶网络的作用,作者与不使用对偶网络的启发式方法进行了对比。结果表明,对偶学习在跟踪偏差方面带来了超过一个数量级的改进,同时在代价方面也有小幅提升。作者还测试了不同惩罚参数 ρ 的影响,发现当 ρ 足够大时算法性能对 ρ 的选择具有较好的鲁棒性,仅当 ρ=0.5 时出现显著退化。

第二个场景是带有状态约束的 LQR 问题。约束要求所有非初始时刻的状态分量不低于 -0.05。在此设定下,最优对偶变量不再是初始条件的线性函数,因此作者将对偶网络参数化为具有 ReLU 激活的单隐层神经网络。实验表明,学习到的策略能够在满足约束的前提下实现接近最优的代价,平均约束违反量仅为 0.0002。与不使用对偶网络的方法相比,对偶学习在约束满足率方面表现出明显优势。这一结果说明该算法能够学习非线性的对偶映射,并有效处理轨迹规划中的状态约束。

第三个场景是非线性的独轮车系统。系统状态包括位置、航向角和速度,控制输入为加速度和转向角速度。目标是使车辆到达原点附近。轨迹规划器仅生成位置参考,而不生成完整状态参考。由于动力学非线性且价值函数采用神经网络参数化,轨迹规划问题变为非凸问题,作者采用梯度下降法求取局部最优参考轨迹。为缓解训练初期的困难,作者先使用简单直线轨迹对跟踪控制器进行热启动训练,之后再运行完整算法。实验结果显示,学习策略的代价与 iLQR 基线相当,且与不使用对偶网络的方法相比,跟踪偏差从 0.05 降低到 0.02。这再次证明了在非线性系统中对偶网络在协调规划与跟踪方面的价值。

本研究的主要贡献有三方面。第一,提出了一种基于原则性推导的分层策略参数化方法,并在其中引入对偶网络以协调轨迹规划器和跟踪控制器。第二,证明了在无约束 LQR 问题中,对偶网络更新算法能够收敛到最优对偶网络参数,并在存在跟踪误差时收敛到最优参数的邻域。第三,通过仿真实验验证了该方法在受限 LQR 和非线性独轮车系统上的有效性。研究的科学价值在于为分层强化学习和分层控制体系结构的设计提供了新的理论视角,即通过显式学习对偶变量来实现规划层与跟踪层之间的有效协调。其应用价值在于所提出的方法不需要显式地知道系统动力学,只需通过仿真器交互即可学习控制策略,因此适用于复杂的机器人系统和其他信息物理系统。

本文的亮点包括:将对偶分解与演员-评论家学习相结合的设计思路具有创新性;对偶网络的引入使得轨迹规划器能够预测参考轨迹与实际执行轨迹之间的偏差并进行预补偿;理论和实验均证明该方法能够有效协调不同控制层次;此外,方法保持了较好的可解释性和模块化,因为规划和跟踪组件具有明确的优化含义。未来的研究方向包括利用对偶网络指导约束收紧,以及将规划器直接参数化为神经网络以减少在线计算量。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com