学术研究报告：基于分层深度强化学习的前列腺癌调强放疗自动治疗计划智能框架

作者及单位
本研究的通讯作者为Chenyang Shen（美国德克萨斯大学西南医学中心放射肿瘤学系医学人工智能与自动化实验室[MAIA]及放疗计算与硬件创新技术实验室[iTORCH]），合作作者包括Liyuan Chen和Xun Jia。研究成果发表于*Physics in Medicine & Biology*期刊，最终编辑版本于2021年12月23日发布（DOI:10.¹⁰⁸⁸⁄₁₃₆₁-6560/ac09a2）。

一、学术背景

研究领域与动机
放射治疗（Radiation Therapy, RT）计划制定是现代癌症治疗的核心环节，但其高度依赖经验丰富的规划师人工调整治疗计划参数（Treatment Planning Parameters, TPPs），存在效率低、结果波动大等问题。尽管团队此前提出的智能自动治疗计划（Intelligent Automatic Treatment Planning, IATP）框架通过虚拟治疗规划师网络（Virtual Treatment Planner Network, VTPN）实现了部分自动化，但其网络规模随TPPs数量线性增长的缺陷限制了在复杂临床场景（如头颈部肿瘤治疗）中的应用。

本研究受人类规划师分层决策机制启发，提出分层VTPN（Hierarchical VTPN, HieVTPN）框架，解决以下关键问题：
1. 可扩展性瓶颈：传统VTPN需为每个TPP配置独立子网络，导致参数规模爆炸（如前列腺立体定向体放疗[SBRT]需调整48个TPPs）；
2. 决策可解释性不足：原有模型行为难以追溯，不利于临床信任。

二、研究流程与方法

1. 分层网络架构设计

HieVTPN由三个子网络构成，模拟人类规划师的决策层次：
- 结构网络（Structure-Net）：分析剂量体积直方图（DVH）数据，选择需优化的解剖结构（如PTV靶区或膀胱/直肠等危及器官）；
- 参数网络（Parameter-Net）：针对选定结构，确定需调整的具体TPP（如剂量限制τ或权重因子λ）；
- 动作网络（Action-Net）：决定参数调整方向（如增加/减少λ值）。

创新点：通过分层架构将网络参数量从O(N)降至O(1)，例如前列腺SBRT的TPPs从48个增至60个时，HieVTPN总参数仅增长0.1%（从9,024,506至9,036,645），而传统VTPN参数翻倍。

2. 分层深度强化学习（HieDRL）训练方案

采用端到端训练策略，通过以下步骤同步优化三个子网络：
1. 数据生成：使用10例前列腺癌患者数据（IMRT）和20例（SBRT），通过ε-贪婪算法随机扰动TPPs生成大量计划状态-动作对；
2. 奖励函数设计：
- IMRT采用ProKnow评分系统（满分9分，基于PTV覆盖率及膀胱/直肠受量）；
- SBRT参考2016年AAMD/RSS挑战赛标准（满分150分，含15项剂量学指标）；
3. 交替更新：基于贝尔曼方程（Bellman Equation）分阶段优化子网络（公式10-11），确保动作选择最大化累积未来奖励。

三、主要研究结果

1. 计划质量性能

• 前列腺IMRT：在59例测试病例中，HieVTPN平均得分8.62±0.83（传统VTPN为8.45±0.48），接近人类规划师水平（~8.5），单例优化时间约3分钟；
  
• 前列腺SBRT：测试病例平均得分139.07±3.35，显著优于2016年AAMD/RSS竞赛人类方案平均分（132.21）。
  

2. 可解释性验证

通过分析500组随机生成的治疗计划，发现HieVTPN决策逻辑符合临床经验：
- 结构选择：当危及器官（OAR）评分低于5（满分8）时优先调整OAR参数，反之优化PTV覆盖（图5a）；
- 参数调整：低分结构倾向于增加权重因子（图6a-c），高分时则降低权重或放宽剂量限制以平衡其他指标。

3. 网络扩展性对比

如表3所示，当TPPs数量从5（IMRT）增至48（SBRT）时：
- VTPN参数从1500万激增至1.44亿，而HieVTPN仅从902万增至903万。

四、结论与价值

科学意义

1. 方法学创新：首次提出分层DRL框架解决放疗自动化的可扩展性问题，为复杂临床场景（如多靶区/多器官计划）提供可行路径；
   
2. 临床转化潜力：通过可解释的决策行为增强AI系统可信度，推动智能治疗计划系统（TPS）的商业化应用。
   

应用前景

• 多病种扩展：可适配头颈部、乳腺等需调整数十个TPPs的肿瘤类型；
  
• 商业TPS集成：团队开发的类Eclipse内部TPS已验证框架兼容性，下一步计划对接Varian等商用系统。
  

五、研究亮点

1. 分层决策机制：首次将人类规划师的“结构-参数-动作”三层逻辑编码为可训练网络模块；
   
2. 轻量化设计：HieVTPN参数量仅为传统VTPN的6%（IMRT案例）至0.6%（SBRT案例）；
   
3. 行为可溯性：通过剂量学指标与决策的显性关联（图5-6），突破“黑箱模型”局限性。
   

六、局限性

1. 奖励函数简化：当前基于ProKnow/AAMD评分，未来需引入医师主观评估等多元指标；
   
2. 回溯机制缺失：未模拟人类规划师的“回退”操作，可能影响局部优化效率。
   

（报告总字数：约2000字）