分层强化学习（Hierarchical Reinforcement Learning, HRL）全面综述

作者及机构
本文由Shubham Pateria、Budhitama Subagdja、Ah-Hwee Tan（新加坡管理大学）和Chai Quek（南洋理工大学）合作完成，发表于2021年5月的《ACM Computing Surveys》期刊（第54卷第5期）。文章标题为《Hierarchical Reinforcement Learning: A Comprehensive Survey》，是新加坡管理大学机构知识库（Institutional Knowledge at Singapore Management University）收录的研究成果。

学术背景与研究动机
分层强化学习（HRL）是强化学习（Reinforcement Learning, RL）的重要分支，旨在通过任务分解和分层策略解决传统RL在稀疏奖励、长任务周期和复杂技能需求等场景中的局限性。随着深度强化学习的快速发展，HRL因其在抽象化任务表示和高效探索方面的优势，成为机器人控制、游戏AI和工业自动化等领域的研究热点。本文的目标是系统梳理HRL的研究进展，包括方法分类、评估领域和应用场景，为后续研究提供参考框架。

主要内容与核心观点

1. HRL的评估领域
   文章详细列举了用于验证HRL方法的典型任务领域，分为四类：
   
   • 经典单智能体网格世界（Classical Single-Agent Grid-World Domains）：如“四房间网格”（Four Rooms）和“出租车领域”（Taxi Domain），适用于离散状态和动作空间的初步验证。
     
   • 单智能体连续控制领域（Single-Agent Continuous Control Domains）：基于MuJoCo物理引擎的仿真环境（如MuJoCo Maze和MuJoCo Gather），测试连续状态空间下的分层策略。
     
   • 复杂单智能体离散动作游戏（Complex Single-Agent Discrete Action Games）：如Atari游戏（《蒙特祖马的复仇》《吃豆人》）和《我的世界》（Minecraft），验证HRL在高维状态和稀疏奖励中的表现。
     
   • 多智能体离散动作游戏（Multi-Agent Discrete Action Games）：包括简单团队体育模拟器（STS2）和《星际争霸II》多智能体挑战（SMAC），探讨多智能体HRL（MAHRL）的协作与技能发现能力。
     

每个领域均附有相关文献（如Option-Critic架构[2]、HIRO算法[19]）和开源代码链接，强调其复杂性和HRL的适用性。

1. HRL的实际应用
   文章总结了HRL在三大现实场景中的落地案例：

   • 疾病诊断：Kao等[11]提出基于身体解剖部位分层的症状检查器，通过高层策略选择解剖区域，子策略执行具体症状询问，在DeepQ Tricorder系统中实现高诊断准确率。
     
   • 工业机器人：Covariant.ai团队利用HRL实现机器人技能学习（如抓取和堆叠）和自动目标生成[5,6]，避免传统硬编码的局限性。
     
   • 网约车调度：Jin等[10]的CoRide框架将城市划分为六边形网格，通过“管理者-工作者”分层RL优化订单分配和司机收入，实际应用于滴滴出行平台。
     

2. HRL的核心方法
   文章梳理了HRL的关键技术，包括：

   • 瓶颈发现（Bottleneck Discovery）：通过识别状态空间中的关键过渡点（如四房间网格中的门）定义子目标。
     
   • 技能分层（Skill Hierarchy）：如HSD（Hierarchical Skill Discovery）方法[30]在多智能体足球游戏中自动学习传球、防守等技能。
     
   • 迁移学习（Transfer Learning）：在《我的世界》等可配置环境中复用分层策略。
     

研究意义与价值
1. 学术价值：本文首次系统整合了HRL的评估体系、方法分类和应用场景，揭示了分层抽象在解决复杂RL问题中的普适性。
2. 应用价值：通过实际案例（如医疗诊断、工业机器人）证明HRL在长周期任务和多技能协作中的优势，为AI落地提供技术路径。
3. 未来方向：文章指出，多智能体HRL、跨领域迁移和实时学习是亟待突破的挑战。

亮点与创新
- 全面性：涵盖从网格世界到3D游戏的20余个基准领域，链接大量开源代码和数据集。
- 跨学科视角：融合计算机科学、机器人学和运筹学，体现HRL的交叉学科特性。
- 实践导向：强调工业级应用（如Covariant.ai和滴滴出行），凸显研究的技术转化潜力。

补充材料
文章附带的参考文献（如Feudal Networks[29]、QMIX算法[21]）和开源工具（如SMAC、MuJoCo）为后续研究提供了丰富的资源入口。