多模态融合模型预测乳腺癌新辅助治疗反应的突破性研究

作者与机构
本研究由Yuan Gao（荷兰癌症研究所、荷兰乌得勒支大学）、Sofia Ventura-Diaz（西班牙巴塞罗那大学）、Xin Wang（荷兰癌症研究所）等来自全球15个机构的跨学科团队合作完成，通讯作者为Tao Tan（荷兰癌症研究所）和Ritse Mann（荷兰拉德堡德大学医学中心）。研究成果于2024年10月8日发表在《Nature Communications》（2024年影响因子15.0），论文标题为《An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer》。

学术背景
乳腺癌（Breast Cancer, BC）占全球女性癌症发病率的31%，新辅助治疗（Neoadjuvant Therapy, NAT）是局部晚期乳腺癌的标准疗法。病理完全缓解（Pathological Complete Response, pCR）是评估NAT疗效的关键指标，定义为治疗后乳腺和淋巴结中无浸润性癌细胞残留（ypt0/is, ypn0），与患者生存率显著相关。然而，现有预测方法存在两大局限：
1. 临床适用性不足：传统方法依赖单一时间点影像或临床特征，忽略多模态数据（影像、病理、临床、个人因素）的纵向整合；
2. 泛化性缺陷：小样本量导致的过拟合风险，且模型难以适应不同医疗中心的治疗流程差异。
为此，研究团队提出多模态反应预测系统（MRP），旨在通过深度学习整合纵向多模态数据，模拟临床医生对NAT反应的评估流程，同时解决模态缺失和跨中心适用性问题。

研究流程与方法
1. 数据收集与队列构建
- 内部数据集：纳入荷兰癌症研究所2004–2020年3,352例接受NAT的乳腺癌患者，包含4,802例术前乳腺X线摄影（Mammogram）、3,719例纵向动态增强MRI（DCE-MRI）及临床病理数据。
- 外部验证集：
- Duke大学队列（美国）：288例术前MRI数据；
- 福建省级医院队列（中国）：85例含术前乳腺X线和术前/术后MRI的多模态数据；
- I-SPY2试验队列（美国）：508例含前/中/后NAT期MRI的多中心数据。
- 数据预处理：影像数据统一重采样至1mm³体素，乳腺X线采用16位PNG格式并分割乳腺区域，MRI通过减影技术（Subtraction Imaging）增强肿瘤对比度。

2. 模型开发
MRP系统由两个独立训练的模型组成：
- ImgRHPC：基于术前乳腺X线和RHPC特征（Radiological, Histopathological, Personal, Clinical）；
- ImRRHPC：基于纵向MRI（嵌入时间信息）和RHPC特征。
核心创新模块：
- 跨模态知识挖掘（Cross-modal Knowledge Mining）：通过影像特征预测其他模态数据（如分子亚型），增强模型对缺失数据的鲁棒性；
- 时间信息嵌入（Temporal Embedding）：将治疗阶段（前/中/后NAT）编码为one-hot向量，通过ELU激活函数整合时序特征。
- 模型融合：采用加权集成策略（$y = w_1 \times f_1 + w_2 \times f_2$）优化预测性能。

3. 实验设计
- 性能评估指标：AUROC（受试者工作特征曲线下面积）、AUPRC（精确召回曲线下面积）、敏感性、特异性等；
- 对照实验：比较MRP与单模态RHPC模型、放射科医生（6名国际专家）的预测性能；
- 亚组分析：按分子亚型（Luminal A、HER2+、TNBC等）、肿瘤组织学（导管癌、小叶癌）等分层验证；
- 临床效用评估：通过决策曲线分析（Decision Curve Analysis, DCA）量化MRP对治疗决策的潜在影响。

主要结果
1. 预测性能优势
- 内部验证：MRP在术前期的AUROC达0.883（95% CI: 0.821–0.941），显著优于单模态RHPC模型（ΔAUROC +11%, p=0.003）和放射科医生（ΔAUROC +14%, p<0.001）；
- 外部验证：在Duke队列（仅MRI）中，ImRRHPC的AUROC为0.797（ΔAUROC +12% vs. RHPC）；在I-SPY2队列中，整合中/后期MRI后AUROC提升至0.826（ΔAUPRC +20.3%）。

2. 关键预测因子
- 组织病理特征：分子亚型（ER-/HER2+和TNBC的pCR率最高，OR分别为9.18和7.02）、原位癌成分（降低pCR概率，OR=0.51）；
- 影像特征：乳腺X线密度（AUROC贡献度+15.3%）、肿瘤多灶性（单灶肿瘤pCR率41% vs. 多灶24%）。

3. 临床决策价值
- 术前/中期：MRP可识别35.8%的非pCR患者，避免无效治疗（DCA显示每1000例减少220次无效疗法）；
- 术后期：识别16.7%的pCR患者，潜在减少不必要手术（净获益132例/1000例）。

结论与价值
科学意义：MRP首次实现跨模态、跨时间点的NAT反应动态预测，其创新性体现在：
1. 方法论突破：通过跨模态知识挖掘和时间嵌入策略，解决临床数据缺失和时序依赖问题；
2. 临床转化潜力：模型代码开源（GitHub: yawwg/mrp），支持多中心部署。

应用价值：
- 个体化治疗：指导非pCR患者进入替代疗法临床试验，优化pCR患者的手术决策；
- 资源优化：减少无效治疗和过度手术，降低医疗成本。

亮点：
- 最大规模多模态队列：覆盖3,352例患者和8,521例影像数据；
- 超越人类专家：术前预测性能显著优于放射科医生（p<0.001）；
- 可解释性设计：通过特征贡献度分析（Integrated Gradients）揭示关键预测因子。

局限与展望：需前瞻性临床试验验证生存获益，未来拟整合超声和数字病理数据进一步提升性能。

（报告字数：约2,200字）