《自适应动态规划综述》是由张化光（东北大学信息科学与工程学院）、张欣（中国石油大学（华东）信息与控制工程学院）、罗艳红与杨珺（东北大学）合作撰写的综述性论文，发表于2013年4月的《自动化学报》（Acta Automatica Sinica）第39卷第4期。该论文系统梳理了自适应动态规划（Adaptive Dynamic Programming, ADP）这一最优控制领域新兴方法的研究进展，并探讨了其未来发展方向。

论文主题与背景

ADP是一种近似求解非线性系统最优控制问题的方法，其核心思想是通过函数近似结构（如神经网络、模糊模型等）逼近哈密顿-雅可比-贝尔曼（Hamilton-Jacobi-Bellman, HJB）方程的解，从而克服传统动态规划（Dynamic Programming, DP）的“维数灾”问题。HJB方程是动态规划中难以直接求解的非线性偏微分方程，而ADP通过离线迭代或在线自适应学习，实现近似最优控制策略的求解。该技术的兴起得益于神经网络与强化学习的发展，并在电力系统、交通控制等领域展现出应用潜力。

主要观点与内容

1. ADP的结构演变

论文详细分析了ADP的多种结构变体及其特点：
- 启发式动态规划（HDP）：基础结构，通过评价网、控制网和模型网三部分估计代价函数，计算速度快但精度较低。
- 二次启发式规划（DHP）：改进结构，评价网输出代价函数的梯度，精度高于HDP但计算复杂度增加。
- 控制依赖结构（AD-HDP/AD-DHP）：将控制输入引入评价网输入，增强了对控制依赖系统的适应性。
- 全局二次启发式规划（GDHP）：同时估计代价函数及其梯度，精度最高但计算耗时显著。
- 单网络自适应评价（SNAC）：省略控制网，仅保留评价网，适用于控制策略可显式表达的系统，计算效率高但适用范围受限。

2. 算法发展：从离线迭代到在线自适应

ADP算法经历了从离线迭代到在线学习的演进：
- 离线迭代算法：
- Murray等（2002）首次提出连续系统的ADP迭代算法，从初始稳定策略出发，通过值迭代或策略迭代逼近最优解，并证明了收敛性。
- Lewis等针对离散系统提出无需初始稳定策略的算法，通过值函数迭代直接求解最优控制，适用于时滞系统和微分对策问题。
- 在线自适应算法：
- 采用神经网络（如评价网与控制网）实时更新权值，在线逼近最优策略。例如，Vamvoudakis等基于策略迭代实现了连续系统的在线控制，Dierks等通过系统辨识解决了模型未知的非线性控制问题。

3. 应用领域与案例

ADP方法在多个领域实现了成功应用：
- 电力系统：
- 文献[43]将HDP应用于汽轮发电机实时控制，替代传统相位补偿器；文献[45]利用DHP实现多机电力系统的励磁控制，抑制低频振荡。
- 智能交通：
- 通过分层递阶控制实现路口信号优化，如基于多智能体协调的交通流控制[54]。
- 其他领域：导航系统、飞行器控制及通信网络资源分配等。

4. 未来研究方向

论文指出ADP的五大发展方向：
1. 新型算法设计：克服现有算法的局限性，如收敛速度与稳定性问题。
2. 有限时间控制：解决实际工程中有限时域的最优控制需求。
3. 输出反馈扩展：当前成果集中于状态反馈，需探索输出反馈的通用解法。
4. 在线算法完善：提升自适应学习的鲁棒性，减少对初始稳定策略的依赖。
5. 复杂系统挑战：如大时滞、非线性不确定系统的控制问题。

论文的价值与意义

该综述首次系统整合了ADP的理论框架与工程应用，梳理了从结构设计到算法创新的完整路径，为后续研究提供了清晰的路线图。其科学价值体现在：
1. 理论贡献：阐明ADP与经典动态规划、极大值原理的关联与优势，指出其作为充分条件的特性。
2. 应用指导：通过典型案例（如电力系统镇定、交通控制）展示了ADP在解决高维非线性问题中的潜力。
3. 领域推动：提出的开放性方向（如在线学习、有限时间控制）成为后续研究的热点，例如近年来基于深度强化学习的ADP扩展。

亮点与创新性

• 全面性：覆盖ADP的结构、算法、应用及未来趋势，首次将离散与连续系统、迭代与在线方法纳入统一框架。
  
• 前瞻性：早于深度学习兴起前提出神经网络与最优控制的结合路径，为后续智能控制研究奠定基础。
  
• 跨学科视角：融合控制理论、运筹学与人工智能，体现ADP在交叉学科中的枢纽作用。
  

该论文不仅是ADP领域的里程碑式综述，也为控制工程与人工智能的交叉研究提供了重要参考。