学术研究报告：基于迭代经验继承策略的切换系统双变量迭代学习控制研究

一、作者及发表信息
本研究由Yiwen Qi（福州大学电气工程与自动化学院）、Caibin Yao（福州大学）、Choon Ki Ahn（韩国高丽大学电气工程学院）、Dong Shen（中国人民大学数学学院）及Ziyu Qu（沈阳航空航天大学自动化学院）合作完成，发表于控制领域顶级期刊Automatica（2025年，第179卷，论文编号112443）。

二、学术背景与研究目标
迭代学习控制（Iterative Learning Control, ILC）是一种针对重复系统的优化控制方法，广泛应用于机器人、电机和交通系统等领域。然而，传统ILC假设迭代长度固定，而实际系统中可能因安全等问题导致迭代长度动态变化（即“恶意终止”），现有补偿策略（如零填充、末时刻补偿等）存在收敛速度慢的问题。此外，传统ILC控制器增益固定，难以适应复杂动态。

本研究提出双变量迭代学习控制（Dual-Variable ILC, DV-ILC），结合迭代经验继承策略（Iteration Experience Succession Strategy, IESS）和强化学习优化，解决以下问题：
1. 可变迭代长度：通过IESS继承历史数据，填补恶意终止导致的缺失经验；
2. 动态控制器增益：利用深度Q网络（Deep Q-Network, DQN）实时优化增益，提升跟踪精度；
3. 切换系统（Switched Systems）：适用于任意切换规则的多子系统场景。

三、研究流程与方法
1. 问题建模与控制器设计
- 系统模型：离散时间切换系统（公式1），包含多个子系统（σ(t) ∈ {1, 2, …, g}），状态方程包含动态切换矩阵Aσ(t)、Bσ(t)、Cσ(t)。
- 控制律：结合开环P型与闭环PD型ILC（公式4），利用当前和历史误差信息（el+1(t), el+1(t−1), el(t+1)），增益k1, k2, k3通过DQN动态优化。

1. 迭代经验继承策略（IESS）

   • 数据填补机制：若第l次迭代在tl时刻终止（tl < tmax），缺失时段（tl, tmax]的数据从最近一次完整迭代中继承（公式5-6）。
     
   • 算法实现（Algorithm 1）：通过判断终止条件和跟踪误差阈值ω，动态调整迭代次数。
     

2. 强化学习优化（DQN-ILC）

   • 状态与动作：状态包括误差差分（el(t)−el(t−1)）、当前误差（el(t)）、历史误差（el−1(t+1)）及当前增益；动作为增益增量Δk̃。
     
   • 奖励函数（公式8）：根据跟踪误差阈值ξ设定正/负奖励（χ1=10, χ2=−1），驱动DQN学习最优增益。
     
   • 训练流程（Algorithm 2）：内层DQN迭代优化增益，外层ILC迭代更新控制输入。
     

3. 收敛性分析与最小迭代次数

   • 定理1：证明跟踪误差在λ范数下收敛（公式24），条件为增益满足不等式（公式10）。
     
   • 定理2：推导最小迭代次数l = logμ e−φ + 2（公式26），确保误差达到预设性能ω。
     

四、主要结果与逻辑关联
1. 仿真验证
- 对象：升压转换器电路（Boost Converter，图3），建模为两模式切换系统（σ(t)=1,2）。
- 结果：
- IESS有效性：第7次（完整迭代）和第16次（恶意终止，t16=15）迭代均能快速跟踪目标轨迹（图5-6）；
- DQN优化优势：与固定增益（P型）相比，DQN优化后的最大跟踪误差收敛更快（图7-8）；
- 补偿方法对比：IESS的误差收敛速度显著优于零填充、末时刻补偿等方法（图9-10）。

1. 理论贡献
   
   • IESS：通过继承历史数据，避免传统补偿策略的收敛延迟（Remark 2）；
     
   • 最小迭代条件：首次给出可变长度ILC的有限迭代收敛界（Remark 4）。
     

五、研究价值与创新点
1. 科学价值
- 提出首个结合IESS与DQN的切换系统ILC框架，解决了可变迭代长度和动态增益优化的耦合问题；
- 理论证明收敛性并量化最小迭代次数，填补了传统ILC缺乏迭代资源指导的空白。

1. 应用价值

   • 适用于实际系统中因安全中断或动态切换导致的控制问题（如电力电子、机器人轨迹跟踪）；
     
   • DQN的在线优化能力可扩展至其他自适应控制场景。
     

2. 创新亮点

   • IESS策略：通过数据继承提升收敛速度，优于现有补偿方法；
     
   • 双变量控制：同时处理可变长度和动态增益，控制器结构新颖（开环P+闭环PD）；
     
   • 强化学习融合：首次将DQN用于ILC增益优化，实现数据驱动的性能提升。
     

六、其他重要内容
- 抗噪声性能：含差分项的ILC在随机噪声下仍保持稳定（图12）；
- 增益动态变化：DQN输出的增益随迭代自适应调整（图13），验证了算法的灵活性。

总结：本研究通过IESS与DQN的协同设计，为切换系统提供了高效、自适应的迭代学习控制方案，兼具理论严谨性和工程实用性。