关于《大型语言模型引导的强化学习在六自由度飞行控制中的应用》的学术研究报告
本报告旨在向中文研究界介绍一项发表在《IEEE Access》期刊上的原创性研究。该研究提出了一种新颖的智能飞行控制器（Intelligent Flight Controller, IFC）设计框架，通过融合大型语言模型（Large Language Model, LLM）的先验知识与深度强化学习（Deep Reinforcement Learning, DRL），实现了对六自由度（6 Degree-of-Freedom, DoF）固定翼飞机复杂机动飞行的精确、灵活且鲁棒的控制。此项工作由四川大学航空航天学院的Yanqiao Han, Menglong Yang（通讯作者）, Yang Ren, 和 Weizheng Li 共同完成，于2024年6月7日在线发表，期刊号为 DOI: 10.1109/ACCESS.2024.3411015。
一、 学术背景与研究目标
本研究隶属于智能无人系统与自主控制领域，核心交叉点在于人工智能（AI）、强化学习与航空飞行控制。随着人工智能技术，特别是深度强化学习在解决动态决策问题方面展现出巨大潜力，其在军事国防智能空战领域的发展备受关注。智能飞行控制器作为连接智能空战决策系统与实际飞行控制动作的“物理实现层”，是实现智能空战的关键技术与基础。
然而，当前基于深度强化学习的智能飞行控制研究面临显著挑战：首先，传统DRL是一种依赖“试错”的学习范式，缺乏直接指导，存在奖励稀疏、监督信号不足、采样效率低和收敛速度慢的问题。其次，大多数现有研究聚焦于简化的飞行轨迹设计与验证，或者仅能执行标称指令，而真实空战需要飞机能够执行复杂的战术机动动作，这对控制器的灵活性与扩展性提出了更高要求。此外，许多控制器无法直接操控飞机的姿态（如俯仰角、滚转角），限制了其机动能力。
与此同时，大型语言模型展现出对现实世界的丰富知识储备、上下文理解与逻辑推理能力，但其直接用于解决具体的飞行控制问题面临巨大困难。本研究旨在创新性地利用LLM的“涌现”能力（如上下文学习）作为DRL的先验知识源，以解决DRL在训练初期面临的探索效率低下和奖励稀疏问题。具体目标是：1）建立一个LLM引导的DRL训练框架，利用LLM指导智能体（Agent）的早期探索，提升交互数据的质量，加速训练；2）设计一个能综合平衡飞机耦合控制的实用奖励函数，实现对飞机姿态（滚转角、偏航角）、高度和速度的直接、稳定与灵活控制；3）在接近真实环境的高保真仿真中验证所提控制器在执行水平飞行及复杂战术机动（如筋斗、殷麦曼转弯、Split S）方面的性能、鲁棒性与适应性。
二、 详细研究流程
研究主要包含三大核心部分：LLM引导的强化学习框架设计、基于PPO算法的飞行控制器构建与奖励函数设计，以及在JSBSim高保真飞行动力学模型环境下的训练与仿真实验验证。
1. 研究平台与对象： 研究选用F-16战斗机作为控制对象，并采用开源、高保真的飞行动力学模型（Flight Dynamics Model, FDM）软件JSBSim作为物理仿真环境。该环境能够模拟6自由度飞机的精确动力学特性，包括姿态角（滚转角 φ、俯仰角 θ、偏航角 ψ）、空间位置（高度、速度）及其与控制面（副翼 δ_cda、升降舵 δ_cde、方向舵 δ_cdr）和油门 δ_cdth 之间的复杂耦合关系。观测空间（State）不仅包含飞机自身飞行状态（如姿态角、角速度、位置、速度），还包括需要跟踪的目标信号误差（目标滚转角误差、目标偏航角误差、目标高度误差、目标速度误差）。动作空间（Action）则为四个控制面的指令输出。
2. LLM引导的DRL框架： 这是本研究最核心的创新方法。为解决DRL训练初期数据质量低、探索效率低的问题，研究团队提出了一个LLM引导的交互式训练流程。 * 知识库构建： 首先，利用联邦航空管理局（FAA）的飞机飞行手册等专业文本资料，构建一个关于飞行操作规则的本地文本知识库，并将其嵌入到向量数据库中以供检索。 * 引导机制： 在DRL训练的早期阶段（预定义的前N个回合），智能体在环境中采样一个动作后，不会立即执行。取而代之的是，系统会将当前飞机状态、飞行目标和计划执行的控制动作转化为自然语言描述（L_state, L_goal, L_action）。随后，将这些问题与从本地知识库中检索到的相关背景知识一同构建为一个“退一步提问策略（Backstep Questioning Strategy）” 的提示词（Prompt），输入给LLM（本研究采用智谱AI的ChatGLM-6B模型）。提示词要求LLM以飞行专家的身份，基于背景知识，逻辑推演在当前状态下为实现目标而应采取的正确控制指令，并与智能体计划执行的动作进行比较。 * 决策反馈： LLM最终输出一个“是”或“否”的判断。仅当所有相关控制动作的判断均为“是”时，该动作才被允许在环境中执行，并获得环境反馈的奖励。如果任何一个动作为“否”，则智能体需重新采样动作，直到通过LLM评估。这一机制相当于为DRL智能体在训练初期提供了一个“专家监督员”，大幅减少了无效或危险的探索，提高了早期学习样本的质量和训练效率，部分缓解了奖励稀疏问题。超过预定的引导回合数后，则关闭LLM引导，完全由DRL智能体自主探索学习。
3. 基于PPO的飞行控制器与奖励函数设计： * 算法基础： 采用近端策略优化（Proximal Policy Optimization, PPO）算法作为DRL的核心。PPO通过裁剪策略更新幅度，保证了训练的稳定性。智能体（Actor网络）负责根据状态输出动作策略，评价者（Critic网络）负责评估状态价值。 * 奖励函数（Reward Function）： 这是实现稳定灵活控制的关键。研究设计了一个综合性的奖励函数 R，它由滚转角误差奖励 r_φ、偏航角误差奖励 r_ψ、高度误差奖励 r_alt、速度误差奖励 r_vx 以及一个安全高度惩罚项 r_altitude 共同构成，并以几何平均的形式进行融合（R = ⁴√(r_φ · r_ψ · r_alt · r_vx) + r_altitude）。每个误差奖励项都设计为高斯函数形式，例如 r_φ = exp(-(Δφ)²/(2σ_φ²))。这种设计使得当飞机状态与目标状态误差越小，获得的奖励越大，引导智能体精确跟踪目标。同时，各项误差奖励的方差参数（σ）被精心调整，以平衡不同控制通道的优先级和允许的误差波动范围（例如滚转角误差允许在±45°内波动）。安全高度奖励则惩罚飞机飞行高度过低的行为，确保基本飞行安全。 * 训练流程： 训练采用马尔可夫决策过程。在每个训练回合，环境被重置，并随机生成一组目标信号（滚转角、偏航角、高度、速度）。智能体根据当前状态（含目标误差）输出控制指令。环境执行动作后，返回新的状态、奖励及终止信号（Done）。终止信号由多个条件触发：未能在规定步数内达到目标、飞机过载超限或飞行高度超限。智能体与环境的交互数据被存储在经验回放缓冲区中，定期用于更新Actor和Critic网络参数。
4. 实验训练与结果分析流程： * 对比训练： 研究首先对比了在相同训练步数下，有LLM引导和无LLM引导两种模式下智能体的学习效果。通过绘制平均回合奖励曲线和可视化飞行轨迹，直观展示了LLM引导在加速训练早期收敛、提升初始学习效率方面的显著优势。 * 训练策略优化： 针对6自由度飞机动作空间大、任务复杂的问题，研究提出了一种目标信号随机性梯度上升的训练策略。即在训练初期，目标信号的设定较为简单（随机变化幅度小），随着训练进行，逐步增加目标的随机性和难度。实验比较了不同梯度（0.1和0.5）下的训练效果，结果显示较小的初始随机性梯度能有效加速训练并实现更优的最终性能。 * 性能验证： 在控制器训练完成后，研究在JSBSim仿真环境中进行了一系列严格的飞行控制测试。 * 水平飞行测试： 分别在无风和有大风干扰的条件下，测试控制器保持水平稳定飞行的能力。结果控制器能够将高度、速度、偏航角和滚转角稳定在初始值附近的小幅波动范围内，证明了其基本控制能力的稳定性和对环境干扰的鲁棒性。 * 复杂战术机动测试： 这是验证控制器灵活性和扩展性的关键。研究测试了三个经典空战机动动作： * 筋斗（Looping）： 通过动态改变目标信号序列（先爬升、后倒飞、再改出），控制器成功引导飞机完成了一个完整的垂直筋斗机动，展示了其精确的能量管理（动能与势能转换）和倒飞姿态控制能力。 * 殷麦曼转弯（Immelmann Turn）： 结合了筋斗与半滚转的机动。控制器成功执行了先拉起筋斗、在顶点附近进行半滚转、然后以相反航向改出的复杂动作序列，实现了180度的航向改变。 * Split S： 与殷麦曼转弯相反的机动。控制器成功引导飞机从高空滚转进入倒飞，然后俯冲并最终改平，同样实现了180度转向，同时将势能高效转化为动能。 * 数据分析： 对于每一项测试，研究都提供了详细的飞行数据曲线图（包括高度、速度、偏航角、滚转角随时间的变化），并分析了机动过程中各状态量的变化规律与控制器响应的合理性。例如，在筋斗机动中，观察到速度随高度上升而下降、随高度下降而上升的典型能量守恒现象；在滚转角控制中，也观察到了机动过程中由于姿态剧烈变化导致的控制器误差波动。
三、 主要研究结果
LLM引导显著提升了DRL训练效率： 实验结果表明，在训练初期引入LLM引导，使得智能体能够更快地学习到避免坠毁（维持安全高度）和初步跟踪目标信号的能力。与无引导的基线方法相比，在相同训练步数下，LLM引导下的智能体获得的平均回合奖励更高，学习曲线收敛更快。这直接验证了LLM利用先验知识提升探索数据质量、加速训练进程的有效性。
所设计的奖励函数实现了对6自由度飞机的耦合控制： 训练完成的智能飞行控制器能够同时精确跟踪滚转角、偏航角、高度和速度四个目标信号。水平飞行测试的数据显示，各状态量的误差均被控制在预设的合理范围内（如高度误差±6米，偏航角误差±1.5°，滚转角误差±15°），表明奖励函数成功平衡了副翼、方向舵、升降舵和油门之间的控制耦合关系。
控制器展现出强大的鲁棒性和机动能力： 在有风扰动的水平飞行测试中，控制器通过微调控制指令（如适当增加油门以维持速度），成功抵消了风的影响，保持了稳定的飞行状态，证明了其对环境不确定性的鲁棒性。更重要的是，在复杂战术机动测试中，控制器不仅成功执行了所有预设动作，而且在整个机动过程中，飞机的状态变化（如筋斗中的速度-高度变化曲线）与理论预期高度吻合，飞行轨迹平滑准确。这证明了该控制器能够实现对飞机姿态的直接、灵活控制，具备了执行复杂空战机动所需的潜力。
目标信号随机性梯度策略优化了训练过程： 实验对比发现，采用较小的初始随机性梯度（0.1）进行训练，相比更大的梯度（0.5），能够获得更快的收敛速度和更高的最终平均奖励。这表明“由易到难”的课程学习（Curriculum Learning）策略有助于智能体在复杂任务中建立稳定的学习基础，是提升训练效果的有效手段。
四、 研究结论与价值
本研究成功提出并验证了一个LLM引导的深度强化学习框架，用于解决六自由度固定翼飞机的智能飞行控制问题。主要结论如下： * 方法有效性： LLM能够作为有效的先验知识源，在DRL训练初期提供高质量的“专家”指导，从而改善探索、加速收敛、并部分缓解奖励稀疏问题。 * 控制器性能： 基于此框架训练出的智能飞行控制器，能够实现对飞机姿态、高度和速度的直接、精确、耦合控制，其性能超越了仅能执行简单轨迹或标称指令的传统方法。 * 扩展性与实用性： 该控制器不仅能在无干扰环境下稳定飞行，还能在风扰下保持鲁棒性，并成功执行多种复杂的空战战术机动，展现了出色的扩展性和应用于实际智能空战决策系统的潜力。
科学价值： 本研究为“大模型+强化学习”的交叉研究提供了一个新颖且成功的范例。它展示了如何将LLM的符号知识、推理能力与DRL的环境交互、决策优化能力相结合，为解决复杂连续控制任务开辟了新路径。特别是在模型难以精确建立、奖励信号稀疏的动态系统控制领域，该方法具有重要的启发意义。
应用价值： 该研究直接指向下一代智能空战系统的核心技术——智能飞行控制器。所开发的控制器能够理解和执行复杂的战术机动指令，为构建更高级别的、具备自主空战决策能力的智能体奠定了坚实基础。此外，该框架也可推广至其他需要复杂、安全、高效探索的机器人控制或自动驾驶领域。
五、 研究亮点
六、 其他有价值的内容
研究中还讨论了所提算法的可行性与稳定性保障。可行性基于LLM的涌现能力（如上下文学习）和DRL解决动态决策问题的固有优势。稳定性则由精心设计的基于高斯函数的奖励函数来保证，该函数引导智能体将状态误差收敛至预设范围内。同时，作者也指出了当前方法的局限性，主要是受限于计算资源，所使用的基准LLM（ChatGLM-6B）的逻辑推理能力尚有不足，对于复杂任务的指导效果存在上限。这为未来研究指明了改进方向，例如采用更强大的LLM或优化知识库构建与提示工程。论文最后展望了未来研究方向，即结合LLM与DRL进行更高层次的智能空战决策系统开发，体现了研究的延续性和前瞻性。