该项研究由湖南省肿瘤医院暨中南大学湘雅医学院附属肿瘤医院诊断放射科的Xiaochun Yi、Xiaoping Yu、Congrui Li，中南大学计算机学院的Junjian Li，湖南省肿瘤医院健康服务中心的Hui Cao，以及湖南省肿瘤医院病理科的Junjun Li共同完成，通讯作者为湖南省肿瘤医院诊断放射科的Jing Hou。这项研究成果以论文形式发表于放射肿瘤学领域的期刊《Radiotherapy and Oncology》，于2025年5月21日在线发表。

本研究属于医学人工智能交叉领域，具体聚焦于利用深度学习技术进行肿瘤预后预测的放射病理组学（Radiopathomics）研究。鼻咽癌（Nasopharyngeal Carcinoma, NPC）在东南亚地区高发，且大部分患者确诊时已为局部晚期（Locally Advanced NPC， LANPC）。尽管标准治疗方案（诱导化疗联合同步放化疗）已广泛应用，但仍有约30%的患者经历治疗失败。目前，临床广泛应用的TNM分期系统对于同一分期内的患者，其疗效差异仍较大，这主要归因于肿瘤内部的异质性。因此，亟需更精确的预后工具来指导个体化治疗。近年来，人工智能在医学领域，尤其是影像组学（Radiomics）和数字病理方面取得显著进展。影像组学可以从磁共振成像（MRI）等影像中提取海量定量特征，预测生存结局；而数字病理与深度学习相结合，能够从代表“金标准”的整个切片图像（Whole Slide Image， WSI）中挖掘丰富的微观预后信息。然而，现有大多数预后模型仅基于单一模态数据（如仅用MRI），限制了其预测能力和临床效用。放射病理组学通过整合宏观的影像信息和微观的病理信息，已在结直肠癌、肝癌、乳腺癌等实体瘤中显示出提升预后预测准确性的潜力，但在LANPC中的应用研究尚少。此外，WSI图像尺寸巨大（通常为40000×40000像素），标注成本高昂，直接输入深度学习模型具有挑战性。弱监督多实例学习（Multiple Instance Learning， MIL）为此提供了高效的分析框架。基于此背景，本研究旨在构建并验证一个基于弱监督学习和多模态深度学习算法的整合性放射病理组学模型，以预测LANPC患者的总生存期（Overall Survival， OS）。

本研究的工作流程主要包括患者队列与数据收集、多模态数据预处理与特征提取、模型构建与训练、模型验证与性能评估，以及模型可解释性分析五个主要环节。 第一，患者队列与数据收集。研究回顾性纳入了两个中心的343名LANPC患者。其中，来自主要中心的293名患者（2014年1月至2018年6月确诊）被随机分为训练集（202例）、验证集（91例）；来自暨南大学附属第一医院的50名患者作为外部测试集。所有患者均满足以下纳入标准：经组织学确诊的NPC，且根据AJCC第7版或第8版分期系统为III期至IVA期；拥有治疗前完整的MRI扫描（包括T1加权、T2加权和对比增强T1加权图像）；拥有鼻咽镜活检获取的完整苏木精-伊红（H&E）染色切片。排除标准包括患有其他恶性肿瘤、接受过其他抗癌治疗、H&E染色切片质量差以及无规律治疗后随访。研究的主要终点是总生存期（OS），定义为从诊断到任何原因死亡的时间。 第二，多模态数据预处理与特征提取。对于MRI数据，预处理包括使用专业软件进行重采样、颅骨剥离和强度归一化。由两名经验丰富的放射科医生使用ITK-SNAP软件逐层勾画原发鼻咽癌病灶，生成感兴趣体积（VOI）。然后，从T2加权和对比增强T1加权图像中分别提取了396个影像组学特征，共计792个特征，涵盖了形态学、频域和强度等肿瘤特性。通过组内和组间相关系数评估了分割的可重复性，结果均高于0.75，表明一致性良好。对于WSI数据，使用数字扫描仪在40倍放大倍数下生成，分辨率为0.14 µm/像素。首先，使用大津阈值算法区分组织前景与背景。随后，将组织区域在20倍分辨率下裁剪成256×256像素的图像块。为减少H&E染色差异，使用Macenko方法对每个图像块进行染色归一化。接着，利用在ImageNet上预训练的模型（基于ResNet-50的前三个残差块）将每个图像块嵌入到一个1024维的特征向量中。平均每张WSI包含4096个这样的图像块特征。 第三，放射病理组学模型构建与验证。本研究基于多实例学习范式开发了一个深度学习模型来预测OS。具体而言：1）对于WSI数据，采用了一种自注意力机制来评估不同图像块对于预后任务的重要性，并将它们聚合成一个WSI层面的表示，称为“深度病理组学特征”（Deep Pathomic Signature）。该框架属于聚类约束的注意力多实例学习，能够自动识别WSI中具有诊断意义的子区域。2）对于MRI数据，使用多层感知机（MLP）对提取的792个影像组学特征进行进一步编码，得到一个MRI层面的表示，称为“影像组学特征”（Radiomic Signature）。3）多模态特征融合：将上述得到的WSI层面特征和MRI层面特征进行拼接，然后通过一个MLP网络学习两种特征之间的交互，捕捉其互补信息。最后，通过一个带有ReLU激活函数的全连接层产生最终的预后风险预测值。模型采用对数似然函数作为损失函数进行优化。为评估模型性能，使用一致性指数（C-index）对深度病理组学特征模型、影像组学特征模型和放射病理组学整合模型的预后性能进行定量比较。此外，使用Kaplan-Meier曲线分析来展示模型将患者分为高风险组和低风险组的能力。 第四，模型可解释性分析。为提高模型透明度，研究采用了两种技术来解释预测依据。对于WSI，通过计算所有256×256非重叠组织块的注意力分数，生成注意力热图（Attention Heatmap）。分数被转换为百分位排名（0.0表示低注意力，1.0表示高注意力），并通过颜色映射叠加回原始的H&E图像上，高注意力区域通常显示为红色。这使临床医生能够直观看到模型预测时关注的区域，而无需训练时的像素级标注。对于MRI特征，则采用积分梯度法（Integrated Gradients， IG）来评估特征重要性。IG是一种基于梯度的归因方法，可以量化每个输入特征对模型预测的贡献。具有正归因值的特征与高风险相关，负值则与低风险相关。研究聚焦于每个MRI嵌入中绝对归因值最高的前10个特征进行可视化。

本研究取得了一系列重要的结果。首先，在模型预测性能方面，放射病理组学整合模型在训练集、验证集和外部测试集中均展现出最高的预测准确性，其C-index分别为0.755、0.744和0.735。相比之下，单一的影像组学特征模型预测准确度较低，在三个数据集中的C-index分别为0.636、0.635和0.626。单一的深度病理组学特征模型表现优于影像组学模型，在训练集中C-index为0.736，但在验证集和外部测试集中分别为0.649和0.660。整合模型相较于单一的影像组学特征模型，在训练集中性能提升了15.79%，相较于深度病理组学特征模型也有边际提升（2.62%）。这一结果表明，整合宏观影像信息和微观病理信息能够显著提升对LANPC患者生存预后的预测能力。其次，在风险分层能力上，所有三个模型（影像组学、深度病理组学、放射病理组学）均能基于预测的风险评分成功将LANPC患者分为高风险和低风险组，且在训练集和验证集中，两组患者的OS存在显著差异（所有p值 < 0.001）。这证明了模型具有强大的临床风险鉴别能力。 第三，可解释性分析提供了模型决策的直观依据。对于WSI的注意力热图分析显示，无论是高风险还是低风险患者，高注意力区域均主要对应于肿瘤组织区域，表明这些区域在模型预测中起到了关键作用。但深入观察发现，高风险患者WSI中的高注意力区域主要对应的是细胞边界不清、核呈圆形或卵圆形、核仁大且居中的大型合体状细胞簇；而低风险患者的高注意力区域则主要对应边界清晰、呈梭形、成簇生长，偶尔可见角化细胞的肿瘤细胞簇。根据文献，前者的形态学特征通常提示高增殖活性、多形性和低分化状态，与不良预后相关。这从病理学角度解释了模型区分高低风险的生物学基础。对于MRI特征的IG分析则揭示了影响风险预测的具体影像组学特征。例如，在低风险患者案例中，模型预测主要由基于对比增强T1加权图像的游程矩阵（Run-Length Matrix， RLM）参数驱动，这些参数多与降低风险相关（负归因），反映了肿瘤异质性较低，提示预后较好。而在高风险患者案例中，模型则更多地关注与不良预后相关的因素，例如T2图像的低信号强度（可能提示坏死）、增强不均匀（与多个“短游程高灰度级强调”特征相关）等具有正归因的特征，同时，一些提示均质性的特征（如多个Haralick相关性特征）则具有强烈的负归因作用。这些分析使得深度学习模型的“黑箱”决策过程变得可理解，确保了所选特征在模型中具有明确的作用和解释。

本研究的结论是，成功构建并验证了一个基于多模态深度学习算法的预后预测模型，该模型整合了治疗前的MRI影像组学特征和WSI深度病理组学特征，能够有效将局部晚期鼻咽癌患者划分为不同的预后风险组。该模型在预测总生存期方面表现出优异的性能，超越了单一模态模型，为LANPC患者的个体化治疗策略制定提供了有潜力的工具。 本研究的科学价值在于，首次在LANPC预后预测领域，将弱监督学习方法用于从WSI中提取定量特征，并利用深度学习算法将其与MRI影像组学特征相结合。这为解决WSI标注难题和充分利用多模态信息提供了创新性的技术路线。其应用价值在于，所开发的模型有望辅助临床医生在治疗前更准确地识别出高危患者，从而为调整治疗方案（如增加化疗周期或更换化疗方案）提供决策支持，最终可能改善患者预后。此外，模型提供的注意力热图和特征归因分析增强了结果的可解释性，有助于建立临床信任并可能发现新的影像-病理关联标志物。 本研究的亮点主要体现在以下几个方面：1）重要的研究发现：证实了整合放射组学与病理组学的多模态模型在预测LANPC患者总生存期方面优于任何单一模态模型，为精准预后评估提供了更强大的工具。2）方法学的新颖性：率先在LANPC领域应用了基于注意力机制的弱监督多实例学习框架（如CLAM）来处理WSI，避免了繁琐且可能带有偏倚的人工标注，实现了对海量病理图像数据的高效、自动化特征挖掘。3）研究的特殊性：聚焦于具有地域高发特点且治疗挑战较大的局部晚期鼻咽癌，针对其预后异质性大的临床痛点，开展了从数据收集、方法创新到临床验证的完整研究。4）模型的可解释性：不仅追求预测精度，还通过注意力热图和积分梯度法等先进技术对模型的预测依据进行可视化解释， bridging了人工智能与临床病理诊断之间的认知鸿沟，增加了模型的透明度和可信度。 此外，研究作者也坦率地指出了本研究的局限性。首先，尽管是多中心研究，但样本量仍然有限，模型的稳定性和泛化能力需要在未来纳入更多机构的大样本数据中进行进一步验证。其次，由于研究是回顾性的，患者纳入时间跨度长，部分临床数据（如EBV-DNA）存在缺失，因此本次构建的模型未纳入临床因素。作者承认EBV-DNA等临床因素与鼻咽癌预后密切相关，并计划在未来开发整合临床、影像和病理因素的更全面模型，以进一步提升预测性能。这些局限性也为后续研究指明了方向。