基于深度强化学习（Deep Reinforcement Learning, DRL）的放射治疗计划优化技术：研究进展与挑战综述

作者与机构
本综述由Can Li（北京工业大学）、Yuqi Guo（北京工业大学）、Xinyan Lin（北京大学第三医院/北京航空航天大学）、Xuezhen Feng（北京大学第三医院/南华大学）、Dachuan Xu（北京工业大学）和Ruijie Yang（北京大学第三医院）共同完成，发表于2024年8月的《physica medica》期刊（Volume 125, 104498）。

研究背景
放射治疗（Radiation Therapy）是癌症治疗的重要手段，其核心挑战在于精准优化治疗计划（Treatment Planning），即在最大化肿瘤靶区（Planning Target Volume, PTV）剂量的同时，最小化周围危及器官（Organs at Risk, OARs）的辐射损伤。传统治疗计划优化高度依赖医学物理师的经验，耗时且易受主观影响。近年来，深度强化学习（DRL）因其在复杂决策问题中的优势（如自动调整参数、模拟动态环境交互），成为放射治疗自动化优化的新兴研究方向。

核心观点与论据

1. DRL在放射治疗计划优化的应用分类

   • 治疗计划参数优化（TPPs Optimization）：将计划抽象为数学优化问题，DRL学习调整权重因子（如OARs的惩罚系数）。例如，Shen C等（2019）针对宫颈癌高剂量率近距离治疗（HDR Brachytherapy, HDR BT），设计权重调整策略网络（WTPN），使OARs平均剂量降低6%-10.7%。
     
   • 直接优化机器参数（Machine Parameters Optimization）：DRL直接控制多叶准直器（MLC）位置、剂量率等。Hrinivich W T等（2020）通过DRL优化前列腺癌VMAT计划的MLC叶片位置，剂量分布与临床计划相当。
     
   • 自适应放疗（Adaptive Radiotherapy）：结合生成对抗网络（GAN）模拟患者响应，DRL动态调整计划。Tseng H H等（2017）针对非小细胞肺癌，将2级放射性肺炎（RP2）发生率降低32.3%。
     

2. 技术进展与疾病/治疗类型的覆盖

   • 疾病类型：研究涵盖宫颈癌、前列腺癌、前庭神经鞘瘤、非小细胞肺癌等。
     
   • 放疗技术：包括HDR BT、调强放疗（Intensity-Modulated Radiation Therapy, IMRT）、立体定向放疗（Stereotactic Body Radiation Therapy, SBRT）、伽玛刀（Gamma Knife, GK）等。Liu Y等（2022）利用DRL优化前庭神经鞘瘤的GK计划，评分较人工计划提升0.06-0.14分。
     

3. 面临的挑战

   • 效率问题：如Shen C等（2021）指出，原始DRL网络训练需172小时，通过融合医生经验规则（KGDRL框架）可将时间缩短至13小时。
     
   • 评估方法局限：现有研究依赖剂量体积直方图（DVH）或专家评分（如ProKnow系统），缺乏统一的生物效应量化指标。
     
   • 可解释性不足：DRL的“黑箱”特性阻碍临床信任。Shen C等（2021）提出的分层网络（HieVTPN）通过结构-参数-动作三级分解，部分提升了可解释性。
     

4. 未来方向

   • 构建标准化评估器：开发结合剂量分布与生物效应的多维度评分体系。
     
   • 并行化训练：利用分布式计算加速DRL在大型临床数据集的应用。
     
   • 连续动作空间探索：改进离散动作（如“±10%调整”）的限制，实现更精细化参数调节。
     

论文价值与意义
本文首次系统总结了DRL在放射治疗计划优化中的研究全景，揭示了从理论抽象（数学优化问题）到实际控制（机器参数动态调整）的技术路径。其科学价值在于：
1. 方法论创新：提出KGDRL、HieVTPN等混合框架，平衡了自动化与临床经验的融合。
2. 临床转化潜力：案例显示DRL已能生成接近或优于人工的计划（如Shen C等2023年虚拟治疗规划器VTP在AAMD/RSS竞赛中排名第三）。
3. 跨学科指导性：为人工智能与放射治疗的结合提供了明确的挑战清单（如效率、评估、可解释性）和解决思路。

亮点总结
- 全面性：涵盖6种放疗技术、4类癌症的DRL应用。
- 批判性分析：指出现有研究多数停留在模拟环境验证，临床部署仍需突破。
- 前瞻性：提出“量子DRL”（QDRL）等新兴技术（Niraula D等2021, 2023），探索不确定性决策场景。

其他有价值内容
- 商业化进展：列举了Elekta Monaco、RayStation等主流治疗计划系统（TPS）中DRL技术的集成现状。
- 开源呼吁：强调需要公开DRL训练数据集和代码以促进可重复性研究。

（注：专业术语如HDR BT、IMRT等首次出现时保留英文缩写，后续使用中文译名。）