类型a：学术研究报告

这篇研究论文由Ei Huang、Jian Xu (通讯作者)、Di Wu、Yunfei Cui、Zhepeng Yan、Wen Xing和Xun Zhang共同完成，作者单位包括哈尔滨工程大学智能系统科学与工程学院（哈尔滨）和哈尔滨工程大学青岛创新发展中心（青岛）。该研究发表于期刊《Engineering Applications of Artificial Intelligence》第117卷（2023年），文章编号105589。

学术背景 该研究属于自主水下航行器（Autonomous Underwater Vehicle, AUV）运动控制与深度强化学习（Deep Reinforcement Learning, DRL）的交叉领域。随着海洋探索需求的深化，AUV在海底管道维护、资源勘探等任务中面临高度非线性和强耦合系统的控制挑战。传统控制方法（如PID控制、反步控制等）存在依赖精确数学模型或抗干扰能力不足等缺陷，而现代人工智能技术（特别是深度强化学习）为解决这些问题提供了新思路。本研究旨在开发一种基于深度强化学习的通用运动控制器，能处理AUV在未知扰动条件下的多自由度控制问题。

研究流程 1. 通用框架设计 研究首先建立了适用于多种运动控制任务的通用架构，包括： - 状态空间设计：整合速度状态（u,v,w,q,κ）、扰动状态（Dv,Dw）和误差状态（位置/角度误差），通过不同任务的需求组合使用。 - 动作空间：针对欠驱动AUV的推进器推力（τu）和舵机力矩（τq,τκ）。 - 奖励函数：采用多目标优化设计，包含误差惩罚项（-ιe‖es‖1）和执行器输出惩罚项（-ιgaTa）。

1. 虚拟训练环境构建 针对实际训练高风险低效率的问题，研究团队开发了包含部分随机扰动的虚拟AUV模型：

• 动力学模型：基于Fossen方程构建5自由度模型，在横荡（sway）和垂荡（heave）方向引入随机扰动（公式35），其幅值、频率和相位通过均匀分布生成。
• 训练方法：采用最大后验策略优化（Maximum a Posteriori Policy Optimization, MPO）算法，包含策略评估（通过时序差分学习Q函数）、策略改进（优化动作概率分布）和策略拟合（带KL约束的高斯策略更新）三个核心步骤。

1. 实际部署方案 为实现仿真到实物的迁移，研究提出：

• 扰动观测器：设计五个扩展状态观测器（Extended State Observers, ESOs）分别估计五个自由度的未知扰动。其中横荡和垂荡扰动估计值作为控制策略输入，其余三个自由度扰动估计用于输出补偿（公式48）。
• 混合控制架构：将MPO策略输出与ESOs估计的扰动补偿量相结合（公式47）。

1. 验证实验设计 研究通过四种典型控制任务验证方法：

• 前向速度控制：状态空间仅含u和ud-u
• 俯仰角控制：状态空间包含[w,q]、Dw和θd-θ
• 偏航角控制：状态空间包含[v,κ]、Dv和ψd-ψ
• 轨迹跟踪控制：采用视线导航法（LOS）构建误差状态

每种任务设置对比实验，包括： - 完整方法（Method 1） - 去除补偿ESO的消融实验（Method 2-3） - SAC算法对比（Method 4） - 传统控制方法对比（Method 5，仅轨迹跟踪任务）

主要结果 1. 训练性能 MPO算法在各类任务中均表现出稳定的策略收敛： - 前向速度控制：平均奖励从-48提升至-0.51 - 俯仰角控制：平均奖励从-9.7提升至-0.22 - 偏航角控制：平均奖励从-98提升至-1.7 所有任务训练耗时约2小时（3×105时间步）

1. 控制精度

• 速度跟踪误差≤0.05m/s（阶跃响应）
• 角度跟踪误差≤0.02rad（约1.15°）
• ESOs扰动估计误差小于真实值3%

1. 对比实验

• 完整方法（Method 1）显著优于消融实验（误差增大40-60%）
• MPO优于SAC算法（误差降低15-20%）
• 在轨迹跟踪任务中超越传统方法（Shojaei方法）

结论与价值 该研究的主要贡献体现在： 1. 方法论创新：首次将MPO算法与ESO观测器结合，解决了AUV控制中的”仿真-实物差距”问题。 2. 工程价值：提出的通用框架可适配多种控制任务，实际部署时仅需调整状态空间组合。 3. 理论意义：为欠驱动系统在未知扰动下的控制提供了新的强化学习范式。

研究亮点 1. 首创面向AUV控制的通用深度强化学习架构，摆脱传统方法对精确模型的依赖 2. 创新的混合训练-部署方案：虚拟环境中的随机扰动训练+实际系统的ESOs补偿 3. 完备的消融实验设计，验证了各模块的必要性 4. 开源项目（GitHub仓库hfly1/auv-motion-controller）促进学术交流

附加价值 研究团队详细分析了算法复杂度： - 训练阶段：O(Gmax×T×M×∑n_i^2×|A|×bK) - 部署阶段：O(T×M×∑n_i^2×|A|) 为实际应用中的计算资源配置提供了重要参考。同时，论文附录详细给出了视线导航误差的数学描述，增强了方法的可复现性。