这篇文章名为《Multimodal Deep Learning Fusing Clinical and Radiomics Scores for Prediction of Early-Stage Lung Adenocarcinoma Lymph Node Metastasis》，由Chengcheng Xia、Minjing Zuo、Ze Lin等人完成，并于2024年12月发表在《Academic Radiology》期刊。本文旨在开发并验证一个基于计算机断层扫描(CT)影像和临床数据的多模态深度学习模型，用于预测早期肺腺癌的淋巴结转移(LNM)。

一、学术背景与研究目的

肺癌是全球范围内最常见且致死率最高的癌症类型，其中肺腺癌是最为常见的亚型。尽管手术切除如肺叶切除术被认为是早期非小细胞肺癌的标准治疗方法，但淋巴结转移的预测一直是影响治疗效果的重要因素。传统的淋巴结转移诊断方法，如纵隔镜检查和支气管镜引导的经气管针穿刺，虽然被认为是诊断标准，但它们具有侵入性，且存在样本量有限、并发症风险高等缺陷。此外，计算机断层扫描(CT)及正电子发射计算机断层扫描(PET-CT)被应用于非侵入性检测，但由于隐匿型淋巴结转移的存在，这些方法的准确性受到局限。

近年来，放射组学（Radiomics）作为一种通过提取医学影像的定量特征来评估疾病的方法，已被广泛应用于癌症诊断和预后预测。深度学习（Deep Learning, DL）技术的引入，尤其是基于医学影像的深度学习技术，显示出了巨大的潜力，但许多研究仅基于影像数据进行预测，忽略了临床数据的重要性。针对这一不足，本文提出了一种集成临床数据、放射组学数据和深度学习的多模态融合模型，以提高早期肺腺癌淋巴结转移的预测准确性。

二、研究方法与流程

1. 数据收集与样本选择

本文回顾性地分析了来自两个中心的724例经病理确诊的早期浸润性肺腺癌患者数据。其中524例来自中心1，200例来自中心2。所有患者均接受了根治性手术切除并进行了系统的淋巴结清扫。研究者通过病历和CT影像收集了患者的临床数据，包括年龄、性别、肿瘤标志物（如CEA、CYFRA 21-1等）、CT肿瘤大小、密度、位置等特征。此外，还通过非增强CT影像提取了1595个放射组学特征。

2. 临床模型构建

研究者首先对收集的临床数据和CT影像特征进行单因素分析，筛选出与淋巴结转移相关的特征（如CEA、CYFRA 21-1、NSE水平等）。随后，采用多因素逻辑回归分析构建临床模型。通过Akaike信息准则（AIC）选择重要特征，并利用加权线性组合的方法计算临床评分（CS）。

3. 放射组学特征提取与模型构建

放射组学特征通过Pyradiomics软件从CT影像中提取，经过高斯滤波和直方图处理，最终获得1336个有效特征。通过统计分析（如T检验）筛选出显著性差异的特征，并采用LASSO回归方法进一步精简特征，最终构建放射组学模型（Radiomics Score, RSS）。

4. 深度学习模型开发

深度学习模型采用InceptionResNetV2网络结构，并使用迁移学习方法进行微调。图像数据经过标准化、裁剪和数据增强后，送入深度学习网络进行训练。模型采用焦点损失函数（Focal Loss）以提高对淋巴结转移患者的识别能力，同时使用Adam优化器进行参数更新。为提高少数类样本的识别效果，模型对阳性样本进行了加权。

5. 多模态融合模型

基于临床评分（CS）和放射组学评分（RSS），本文采用了深度学习的中间层特征融合方法（Intermediate Fusion），即通过将CS和RSS特征融入全连接层，构建了多模态深度学习模型（CS-RS-DL）。

三、主要结果与分析

1. 临床与放射组学特征的筛选

在单因素分析中，研究发现，年龄、性别、CEA、CYFRA 21-1、NSE等临床特征以及CT肿瘤大小、密度、位置、结节形态等影像特征与淋巴结转移相关。在多因素回归分析中，最终识别出女性、左上叶肿瘤、较大的CT肿瘤尺寸、实性结节等为独立的淋巴结转移风险因素。

2. 模型性能评价

在内部验证集和独立测试集中，多模态融合模型（CS-RS-DL）在ROC曲线下面积（AUC）方面表现优异，分别为0.877和0.906，显著优于单一的临床模型、放射组学模型和深度学习模型。此外，CS-RS-DL模型还表现出最高的灵敏度（0.941）和较好的平均精度（0.642），表明其对淋巴结转移的预测能力最强。

3. 深度学习模型可解释性

为了提高模型的可解释性，本文引入了基于Shapley值的深度学习解释方法（Gradient SHAP）。该方法通过热图展示了深度学习模型在预测淋巴结转移时关注的CT图像区域，为临床医生提供了决策支持。

四、研究结论与意义

本文提出的多模态深度学习融合模型（CS-RS-DL）通过集成临床数据、放射组学特征和深度学习模型，提高了早期肺腺癌淋巴结转移的预测准确性。该模型不仅显著提升了传统临床模型和放射组学模型的预测性能，还为非侵入性、个性化的淋巴结转移预测提供了新的思路和方法。尤其是在临床决策中，结合该模型可以为患者制定更加精准的治疗方案，避免不必要的过度治疗。

五、研究亮点与创新

1. 多模态数据融合：本研究通过深度学习技术有效融合了临床数据和放射组学特征，突破了传统单一模式预测方法的局限。
2. 高性能预测模型：CS-RS-DL模型在多个测试集上表现出了卓越的性能，尤其是在灵敏度和准确性方面。
3. 模型可解释性：通过引入Shapley值的可解释方法，研究增强了深度学习模型的透明度，帮助临床医生理解模型的决策过程。

六、应用价值

本研究开发的多模态深度学习系统不仅可以用于早期肺腺癌淋巴结转移的预测，还具有广泛的临床应用潜力。未来，结合更多的影像学数据和临床信息，可以进一步提升预测准确性，优化患者的治疗方案。