基于深度强化学习的头颈癌放射治疗智能自动计划系统研究

一、主要作者及机构
本研究的通讯作者为Yin Gao（美国德克萨斯大学西南医学中心放射肿瘤学系）和Xun Jia（约翰霍普金斯大学放射肿瘤学与分子放射科学系），其他作者包括Yang Kyun Park。研究发表于《Physics in Medicine & Biology》2024年5月刊，开放获取。

二、学术背景
科学领域与背景
头颈癌（H&N）放射治疗计划复杂性高，需平衡多靶区（不同处方剂量）与危及器官（OARs）的剂量限制，传统人工计划依赖经验且耗时长。已有自动化方法（如基于知识的计划、多目标优化）存在泛化性不足等问题。
研究动机
团队前期在前列癌（相对简单靶区）中成功开发了虚拟治疗计划机器人（VTP），本研究旨在将其扩展至头颈癌这一更具挑战性的领域，解决多处方剂量、靶区与OARs毗邻等复杂场景的自动化计划问题。

三、研究流程与方法
1. VTP系统架构
- 分层决策网络：简化了前期提出的三层次网络（HieVTP），保留两个子网络：
- 参数网络（Parameter-Net）：从21维剂量学评分向量（基于临床标准ProKnow）中选择需调整的治疗计划参数（TPP）。
- 动作网络（Action-Net）：决定TPP的调整方向（增减优先级）。
- 奖励函数：以ProKnow评分变化（Δψ）作为强化学习奖励信号。

1. 临床TPS集成与自动化工作流

   • 集成平台：通过Eclipse脚本接口（ESAPI）实现VTP与商用TPS（Eclipse v16.0）的直接交互，支持全自动化计划生成，包括：
     
     • 初始化（等中心定位、射野设置）
       
     • 逆向优化（定义47个剂量约束，其中8个TPP由VTP动态调整）
       
     • 迭代优化直至满足停止标准（ProKnow评分阈值）。
       

2. 训练策略

   • 训练数据：仅使用2023年美国医学剂量师协会（AAMD）挑战赛的单例头颈癌病例。
     
   • 深度强化学习（Q-learning框架）：
     
     • 交替训练参数网络与动作网络，结合经验回放与ε-贪婪策略（初始探索率0.99，随训练递减）。
       
     • 创新点：直接基于Eclipse TPS计算剂量，避免不同TPS剂量引擎差异导致的偏差。
       

3. 评估设计

   • 前瞻性评估：参与AAMD挑战赛的初始计划与适应性计划（模拟患者治疗中体重下降导致的解剖变化）两个阶段。
     
   • 回顾性临床验证：20例真实头颈癌病例，对比VTP与人工计划的ProKnow评分及剂量学指标。
     

四、主要结果
1. AAMD挑战赛表现
- 初始计划：ProKnow评分139.08/150，在149份人工计划中排名第21位（人工平均127.32±13.73），靶区覆盖与OARs保护均达标。
- 适应性计划：15分钟内完成计划（人工平均耗时2.62小时），满足所有剂量要求，获效率竞赛第一名。

1. 临床病例验证

   • 计划质量：VTP平均得分125.33±11.12，显著优于人工计划（117.76±13.56，p=0.069）。在脊髓最大剂量（Dcord[0.03cc]）、口腔平均剂量（Doral[mean]）等指标上表现更优（p<0.05）。
     
   • 局限性：VTP计划靶区均匀性略差（因ProKnow评分未纳入该指标），且机器跳数（MU）较高（795.35±125.18 vs. 607.43±108.16），反映调制复杂度增加。
     

2. 决策行为分析

   • 案例显示VTP能智能调整优先级（如提升腮腺约束权重以降低剂量）或降低口腔优先级以改善靶区覆盖率，全程无人工干预。
     

五、结论与价值
1. 科学意义
- 首次将DRL应用于头颈癌复杂计划场景，验证了单病例训练模型的泛化能力。
- 提出TPS集成的端到端自动化工作流，解决训练与临床应用平台不一致的问题。

1. 临床价值
   
   • 提升计划效率（如适应性放疗场景），减少人工经验依赖性，有望改善不同机构间的计划质量差异。
     

六、研究亮点
1. 方法创新：
- 分层DRL网络简化与ProKnow评分直接输入的结合，提升训练效率。
- 首个直接利用商用TPS（Eclipse）进行DRL训练的研究，避免剂量计算偏差。

1. 应用突破：
   
   • 在最具挑战性的头颈癌计划中实现全自动化，且性能媲美经验丰富的剂量师。
     

七、不足与展望
1. 局限性：单例训练导致对特殊解剖（如臂丛神经重叠靶区）的泛化不足，未来需多中心数据扩充训练集。
2. 拓展方向：整合虚拟医师模型（预测计划临床接受度）及靶区均匀性等更全面的优化目标。

（注：术语对照示例：VTP=虚拟治疗计划机器人，TPP=治疗计划参数，OARs=危及器官，DRL=深度强化学习）