本文属于类型a，即单一原创研究的学术论文。以下是为中国读者撰写的详细学术报告。

研究概况与发表信息

本研究由北京交通大学计算机科学与技术学院、交通数据分析与挖掘北京市重点实验室的杨扩、余泽聪、苏鑫、何雄、王宁、郑启光、于飞蝶等，联合河北医科大学第三医院肾内科的张凤金，以及中国中医科学院中医药数据中心的温天财共同完成。通讯作者为北京交通大学的周雪忠教授。该论文发表于期刊《Chinese Medicine》，于2024年正式刊出，论文DOI为10.1186/s13020-024-01005-w。

研究背景与目的

本研究聚焦于医学人工智能领域中的慢性病治疗规划问题，特别是传统中医（Traditional Chinese Medicine, TCM）背景下的动态诊断与治疗方案（Dynamic Diagnosis and Treatment Scheme, DDTS）优化。在中医临床实践中，医生通过“望、闻、问、切”四诊方法获取患者的症状与体征信息，并结合辨证论治原则为患者开具中药处方。然而，慢性病的治疗通常是一个长期的序贯决策过程，每个阶段的用药选择不仅影响当前疗效，还会影响后续治疗路径与最终结局。因此，DDTS优化的核心目标不是追求每一步的最大即时奖励，而是最大化整个治疗序列的长期疗效。

尽管深度学习技术已在药物推荐、疾病基因预测等生物医学问题中得到广泛应用，深度强化学习（Deep Reinforcement Learning, DRL）也在医学决策中展现出潜力，但目前在中医领域，现有的基于强化学习的DDTS优化算法仍面临两个主要挑战：一是难以有效学习经验丰富的中医医生的用药规律，二是患者状态空间与动作空间的表示不够充分。与此同时，中药处方推荐方法虽已从传统机器学习、主题模型发展到深度学习方法，但将强化学习治疗规划与具体处方推荐有效衔接的研究仍然缺乏。为此，本研究提出了一种基于深度强化学习的中医草药处方规划框架——PrescDRL，旨在为慢性病患者生成优化的序贯草药处方治疗方案（Herbal Prescription Treatment Planning, HPTP），并同时实现高精度的具体处方预测。

研究流程与实验设计

本研究的工作流程可分为四个主要环节：数据集构建、强化学习模型设计、虚拟环境构建与状态转移预测、以及处方推荐模型构建。

第一环节是糖尿病序贯诊疗基准数据集的构建。研究团队从广安门医院提取了2,895名糖尿病患者的10,666条医疗记录。数据显示49.6%的患者仅有一次就诊记录，每位患者平均有3.68条就诊记录。每条记录包含患者的症状信息和由多味草药组成的处方。症状数量与处方中草药数量均近似正态分布，平均每份记录包含10.386个症状和10.059味草药。研究筛选出1,459名就诊次数超过一次的患者，共获得5,638条按就诊时间排列的诊疗序列。该数据集已获得相关伦理委员会批准（批号：2016No.11-01）。

第二环节是强化学习模型的构建。研究将DDTS优化问题形式化为马尔可夫决策过程（Markov Decision Process, MDP）。其中，患者状态由症状向量表示，出现的症状标记为1，未出现的标记为0；动作空间为草药处方聚类（Herbal Prescription Cluster, HPC）。由于原始数据中包含9,695个不同的草药处方，直接作为动作空间会导致模型难以训练，因此研究采用K-means聚类算法对处方进行聚类降维。研究测试了从30到150个不同聚类数，并通过卡方检验评估不同聚类间草药组成的统计差异。结果显示，30个聚类时统计差异最大（−log10 p = 23.27±8.27），因此最终选择30个HPC作为动作空间。模型框架采用两种深度强化学习网络：DQN和DRQN。DQN网络包含三层全连接层，分别有400、300和30个神经元；DRQN网络的前两层为全连接层（300和512个神经元），中间层为512个神经元的LSTM层，最后为30个神经元的全连接层。训练参数设置为：学习率0.01，奖励折扣系数0.9，随机探索概率0.1，批大小32，每100个训练批次更新一次Q目标网络。

第三环节是奖励函数设计与虚拟环境构建。奖励函数由两部分组成：症状评分变化和治疗风险控制。由于数据集中缺少疗效评估数据，研究使用两次连续就诊之间的症状数量变化作为即时奖励。症状评分定义为患者症状数量的加权和，本研究将所有症状权重设为1，即症状评分等于症状个数。同时，计算预测动作与医生实际处方之间的Jaccard相似度，相似度越高奖励越高。奖励函数公式为r(s,a)=γ∑αi(si−s′i)+βJac(a,a′)。虚拟环境由从医疗记录中提取的四元组(s1, a, r, s2)构成，其中s1为当前症状观察，a为基于s1的动作，r为执行动作a后获得的奖励，s2为执行动作后新的症状观察。研究共获得4,179个四元组用于训练深度强化学习模型。此外，由于训练阶段构建的四元组数量有限，模型在实际优化过程中需要预测执行动作后的下一状态。研究开发了状态转移预测策略：首先筛选训练集中所有与预测动作相同的四元组，然后计算当前症状与每个四元组中s1的Jaccard相似度，选择s1与当前症状最相似的四元组，将该四元组中的s2作为治疗后患者的状态。序列终止条件有三个：患者症状评分≤3；症状评分降低60%；迭代次数超过15次。

第四环节是草药处方推荐模型的构建。由于PrescDRL输出的是HPC而非具体处方，研究构建了一个多层感知机（Multi-Layer Perception, MLP）神经网络，以患者症状和强化学习模型预测的HPC为输入特征，输出预测的具体草药处方。该处方推荐任务被建模为多标签预测问题。

在实验设计方面，研究使用1,495名患者样本，其中80%（1,203样本）用于训练，20%（292样本）用于测试。评估指标包括单步回报（Single-Step Return, SSR）、单步累计回报（Single-Step Cumulative Return, SCR）和多步累计回报（Multi-Step Cumulative Return, MCR），以及在处方预测中使用的精确率、召回率、F1分数和IoU。

主要实验结果

在DDTS优化实验中，PrescDRL在三个回报指标上均显著优于临床医生。在单步回报方面，医生获得的分数为1.39，而PrescDRL-DQN和PrescDRL-DRQN分别提高了117%和153%，达到3.03和3.52。在单步累计回报方面，相较于医生，PrescDRL-DQN和PrescDRL-DRQN分别提高了269%和292%。在多步累计回报方面，两种模型的提升幅度更为显著，分别达到387%和402%。此外，PrescDRL-DRQN模型在三个指标上均优于PrescDRL-DQN，分别提升了16.2%、6.48%和3.16%。这些结果表明PrescDRL生成的HPC具有更好的长期疗效。

在序列长度方面，医生给出的诊疗序列最短，而PrescDRL模型的序列长度更长。这表明虽然PrescDRL具有较高的诊疗性能，但增加了诊疗次数。不同HPC数量对模型性能影响的实验显示，HPC数量对PrescDRL的预测性能影响较小，但PrescDRL-DRQN模型在HPC数量增加时表现出更好的稳定性。

在处方预测实验中，研究构建了一个三层全连接神经网络进行比较。第一个模型同时考虑患者症状信息和PrescDRL给出的HPC，第二个模型仅考虑患者症状信息作为基准。在过滤阈值为0.2时，结合HPC的模型在精确率上提高了40.5%，召回率提高了63%，F1分数提高了51.5%。在推荐草药数量方面，随着过滤阈值增加，两种模型推荐的草药数量均增加，但结合HPC的模型推荐数量更接近真实处方中的草药数量。在过滤阈值为0.3时，结合HPC的模型预测平均9.72±2.80味草药，而真实处方数据集中每张处方的草药数量均值为9.84±2.96，表明结合HPC的模型预测更接近真实分布。

在案例研究中，研究展示了一个真实诊疗序列与PrescDRL预测序列的对比。真实序列中患者共就诊四次，初始症状评分为13，末次就诊症状评分为11，治疗效果不理想且病情反复。而PrescDRL生成的序列中患者经历五次就诊，症状评分从13逐步下降至2，最终病情显著改善。该案例显示PrescDRL在第3次就诊时症状评分上升至11，但其目标不是每一步的最大奖励，而是最终将症状评分降至2，体现了长期疗效优先的优化策略。草药频率分布对比也显示PrescDRL预测的草药频次分布与原始处方高度相似，间接验证了预测结果的可靠性。

研究结论与价值

本研究提出的PrescDRL框架成功地将深度强化学习应用于中医慢性病序贯治疗规划。实验结果表明，PrescDRL在DDTS优化方面生成的草药处方治疗计划比临床医生具有更好的疗效，在单步回报、单步累计回报和多步累计回报上均有显著提升。同时，结合HPC与症状信息的处方推荐模型在精确率、召回率和F1分数等指标上均优于仅使用症状信息的基准模型。PrescDRL的核心价值在于其长期疗效优先的优化策略，不同于传统的即时奖励驱动方法，该模型能够在保持整体治疗序列有效性的前提下，为患者提供更合理的序贯处方方案。从应用价值看，该方法有助于减少用药错误、降低患者治疗成本、提高治疗效果，为中医智能化诊疗提供了范例。从科学价值看，本研究首次将深度强化学习与具体处方推荐模型进行有效整合，弥合了基于强化学习的治疗规划与具体处方推荐之间的鸿沟，为后续中医智能决策研究奠定了基础。

研究亮点与展望

本研究的核心亮点在于构建了PrescDRL框架，将DDTS优化问题建模为强化学习任务，通过离线虚拟环境和状态转移预测策略解决了真实临床环境中无法直接训练模型的问题。同时，研究提出了30个HPC作为动作空间的降维策略，有效克服了动作空间过大的训练难题。此外，奖励函数的设计兼顾了疗效提升与用药合理性，通过Jaccard相似度约束确保预测处方与医生经验的一致性。

研究也指出了若干局限性：PrescDRL生成的诊疗序列比医生更长，未来需要探索在保持高疗效的同时缩短序列长度的优化模型；所有实验结果均基于仿真实验，尚未在真实临床系统中验证；随着大语言模型（Large Language Model, LLM）技术的快速发展，未来计划收集更多临床序贯诊疗数据，训练专门用于中医治疗规划优化的大语言模型，以进一步提高临床诊疗效率。