本文旨在向学界介绍一篇由Chinyere Ngwu, Ying Liu, 和 Rui Wu（均来自英国University of Glasgow的James Watt School of Engineering）撰写的综述性论文。该文于2025年2月19日被接受，并于2025年3月8日在线发表在Journal of Intelligent Manufacturing期刊上，预计于2026年正式出版（第37卷，第1093-1108页）。论文的标题为《Reinforcement Learning in Dynamic Job Shop Scheduling: A Comprehensive Review of AI-Driven Approaches in Modern Manufacturing》，核心主题是系统回顾和评述人工智能（Artificial Intelligence, AI），特别是强化学习（Reinforcement Learning, RL），在现代制造业动态作业车间调度（Dynamic Job Shop Scheduling, DJSS）领域的应用、进展、挑战与未来方向。

本文是一篇严谨的系统性文献综述（Systematic Literature Review, SLR）。作者采用SLR方法，旨在结构化地识别、选择和分析相关高质量、同行评审的研究。其综述目标明确：第一，探究AI技术（尤其是RL）在DJSS环境中的整合应用；第二，识别传统与AI驱动调度方法面临的关键挑战；第三，评估不同AI方法在管理真实世界制造复杂性方面的有效性。为了实现这些目标，作者查阅了广泛的学术数据库，使用“动态作业车间调度”、“制造业中的人工智能”、“调度中的机器学习”、“强化学习”等关键词，并主要筛选了2010年后的近期研究，同时也包含了具有奠基意义的早期著作。所有被评阅的文献均被分类整理并列入附录，确保了综述过程的透明度和可复现性。

论文的核心论点在于阐明，面对现代制造业固有的不确定性和实时变化，传统的静态调度方法已显不足，而基于强化学习的AI驱动方法为解决动态作业车间调度问题提供了极具前景的变革性途径。 全文围绕这一核心论点，从理论背景、技术演进、算法剖析、现存差距及未来展望等多个层面展开了系统论述。

首先，论文详细阐述了从静态作业车间调度（Job Shop Scheduling, JSS）到动态作业车间调度（DJSS）的演进必然性及其面临的挑战。 JSS问题因其计算复杂性（属于NP-hard问题）和广泛的现实应用而备受关注。然而，传统的JSS模型具有僵化性，无法有效处理现实世界中的不确定性，如随机工件到达、机器故障和波动的客户需求。这种局限性催生了对更具适应性、实时性方法的需求。DJSS模型通过纳入实时决策机制来应对这些挑战，能够在新工件到达或设备故障等事件发生时动态调整调度方案。论文通过对比图1a（静态JSS）和图1b（动态JSS）直观地说明了这种差异。此外，有效的调度不仅提升生产率，还通过减少运营低效和碳足迹来推动可持续性。随着工业4.0将AI与物联网（Internet of Things, IoT）融合，对自适应的、数据驱动的调度解决方案的需求变得更为迫切。

其次，论文系统回顾了用于JSS的传统方法与AI方法，并指出了各自的优缺点，为引入RL做好了铺垫。 作者将调度方法的发展轨迹分为几个阶段。传统方法（如调度规则、整数线性规划）虽然奠定了重要基础，但在面对实时变化时缺乏灵活性或计算负担过重。随后，进化与启发式算法（如遗传算法Genetic Algorithms, GA、粒子群优化Particle Swarm Optimization, PSO、模拟退火Simulated Annealing, SA等）被引入以更好地处理优化复杂性，但它们通常对参数调优敏感，且在高度波动的环境中实时适应能力有限。学习型方法，包括机器学习（Machine Learning, ML）和深度学习（Deep Learning, DL），采用数据驱动的方法，能从历史和实时数据中提取模式以优化决策。例如，支持向量机（Support Vector Machine, SVM）与优化算法结合可用于重调度预测，随机森林可用于处理大规模嘈杂数据，而卷积神经网络（Convolutional Neural Networks, CNN）和循环神经网络（Recurrent Neural Networks, RNN）则分别用于视觉数据分析和序列数据处理。然而，这些方法也面临计算成本高、对数据质量和结构敏感等挑战。表3清晰地总结了从传统方法到学习型方法再到RL的演变过程，突出了RL在效率、适应性、实时能力等方面的潜在优势。

第三，论文的核心部分是深入剖析强化学习（RL）如何变革动态作业车间调度（DJSS），并详细评述了各类关键RL算法。 论文指出，RL通过其“试错”学习范式脱颖而出，智能体（agent）通过与环境（即制造车间）的序列交互直接学习最优调度策略，而非依赖静态的预训练数据集。这种交互式反馈循环对于处理DJSS中的随机事件至关重要。RL框架通常用贝尔曼最优性方程来描述，其目标是最大化累积奖励。在DJSS中，状态（state）可包括工件队列、机器状态、任务优先级等，动作（action）涉及工件排序、机器分配等调度决策，奖励（reward）则与最小化完工时间、延迟或能耗等目标挂钩。

作者随后对应用于DJSS的各类关键RL算法进行了细致的评述： 1. 基础Q-learning：作为早期应用的基石，其表格化方法简单直观，但在大规模或高动态的DJSS中面临状态-动作空间爆炸的问题，实用性受限。 2. 高级Q-learning变体：包括加权Q-learning、双重Q-learning（Double Q-Learning）以及结合了多种调度规则（Multiple Dispatching Rules, MDR）的Q-learning。这些方法通过集成聚类、动态搜索策略或利用双估计器来减少估值偏差，提升了适应性和效率。然而，它们大多严重依赖仿真环境，在真实车间的数据噪声和不确定性下的鲁棒性仍需验证。 3. 深度Q网络（Deep Q-Network, DQN）及其扩展：DQN使用神经网络来近似动作-价值函数，从而能够处理高维状态表示。其改进版本如双重DQN（Double DQN）和Rainbow DQN（融合了双重Q学习、优先经验回放、多步回报等多种改进）能提供更稳定、更准确的价值估计，更适合大规模复杂场景。但它们的计算开销较大，且对超参数（如学习率、网络结构）敏感，可能引发训练不稳定。 4. 策略梯度方法：以近端策略优化（Proximal Policy Optimization, PPO）为代表。PPO直接学习参数化策略，并通过剪切策略更新来确保稳定训练，避免因单次不良经验导致策略崩溃。这在实时调度多台机器时尤为重要。研究表明，结合Transformer等网络架构，PPO能有效处理复杂的调度数据特征。 5. 行动者-评论家（Actor-Critic）方法：适用于连续或近连续动作空间（如部分机器分配、灵活开始时间）。深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）及其改进版双延迟深度确定性策略梯度（Twin Delayed DDPG, TD3）提供了对资源的精细控制，但同样对超参数和探索噪声模型敏感。软行动者-评论家（Soft Actor-Critic, SAC）通过最大化熵增目标鼓励探索，在随机性高的环境中表现可能更好，但熵参数的校准具有挑战性。 6. 分层强化学习（Hierarchical RL, HRL）与并行方法：HRL将复杂的调度任务分解为子任务（如机器分配、工序排序），由低层策略分别处理，高层策略进行协调，这可以提高样本效率和可解释性，但需要深厚的领域知识来设计有效的层次结构。异步优势行动者-评论家（Asynchronous Advantage Actor-Critic, A3C）及其同步版本（A2C）利用并行环境副本来加速学习，但这通常需要数字孪生等先进基础设施的支持。

论文通过表4“DJSS中RL算法的最新进展”对这些算法进行了总结，并列出了各自的目标函数和主要局限性，为读者提供了一个清晰的概览。

第四，论文明确指出了当前RL在DJSS应用中存在的研究缺口（Research Gap），并提出了未来发展方向。 尽管RL研究取得了显著进展，但其在真实工业环境中的实际部署仍然有限，主要存在以下障碍： 1. 方法论细节不足：许多研究缺乏对状态、动作、奖励函数空间的明确数学表述，影响了研究的可复现性和跨研究比较。 2. 可扩展性与实时性挑战：先进RL算法在中小规模场景中表现优异，但当状态-动作空间急剧扩大时，其计算开销可能无法满足实时决策的低延迟要求。 3. 可解释性与接受度问题：基于深度神经网络的RL模型如同“黑箱”，其决策逻辑难以解释，这阻碍了车间操作员和生产管理人员的信任与采纳。 4. 不一致的经验验证：多数成果基于仿真环境，缺乏在真实工厂中进行的大规模、长期实证验证。此外，性能指标（如总吞吐量、平均延迟、能耗）的使用不一致，使得算法间难以进行客观比较。

针对这些缺口，论文提出了未来研究的重点方向： 1. 丰富数学与方法论细节：为特定制造场景提供明确的状态、动作、奖励空间公式，增强透明度和可复现性。 2. 推进可扩展的实时计算：利用分布式计算、GPU加速、云-边计算架构来处理大规模RL训练和推理，并探索量子计算或近似RL以应对高维状态空间。 3. 促进可解释性与操作员接受度：发展混合或可解释的RL方法，将领域启发式规则与RL结合，并研究显著性图谱、规则提取等技术，使决策逻辑更加透明。 4. 加强数字孪生（Digital Twin）与物联网（IoT）的集成：利用数字孪生进行安全、迭代的RL策略测试和验证，再通过IoT数据流实现与物理车间的同步和动态调整。 5. 建立标准化基准与探索协同机器人：开发公开的、反映不同车间规模和目标的测试平台，以促进算法公平比较。同时，研究RL与协同机器人（包括多臂机器人、自动导引车AGV和人机协作）结合的多智能体调度方案。

表5“DJSS中RL研究方向的总结”清晰地概括了这些未来方向及其潜在影响。

最后，论文对全文进行了总结，并强调了RL在DJSS中的变革潜力。 作者指出，RL已经从基础的Q-learning发展出包括策略梯度、行动者-评论家、分层学习等在内的多种复杂方法，每种方法都在管理连续动作、缓解估值偏差或分解任务方面具有独特优势。然而，现实制造环境对计算速度、数据质量和可解释性有严格要求。通过持续解决可扩展性、验证和集成方面的实际障碍，RL有望超越原型阶段，成为智能、自优化制造的核心，推动符合工业4.0互联与适应特性的、可扩展、可持续且高响应的作业车间调度解决方案。

这篇综述的意义与价值在于，它为研究人员和实践者提供了一份关于AI，特别是RL，在动态制造调度领域应用现状的全面、系统且批判性的地图。 它不仅梳理了技术演进的脉络，详细剖析了关键算法的特性与适用场景，更重要的是，它坦诚地揭示了当前研究与实践之间的差距，并指明了切实可行的未来路径。对于希望进入该领域的研究人员，本文是极佳的入门与导航指南；对于业界寻求智能化升级的工程师和管理者，本文提供了技术选型的前瞻性视角和落地过程中需要警惕的挑战。因此，该论文对于推动智能调度从理论创新迈向工业实用具有重要的学术参考价值和实践指导意义。