面向科研人员的系统性综述报告：医学影像与电子健康记录的深度学习融合
本文旨在为中文读者，特别是从事医学人工智能、生物医学信息学和计算医学影像研究的科研工作者，系统性地解读由 Shih-Cheng Huang、Anuj Pareek、Saeed Seyyedi、Imon Banerjee 和 Matthew P. Lungren 共同撰写的综述文章。该文于2020年发表在 npj Digital Medicine 期刊上，标题为“Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines”。作者团队主要来自斯坦福大学，在生物医学数据科学、放射学、人工智能医学影像中心及生物医学信息学等多个领域具有深厚的研究背景。
本文的核心主题是对2012年至2020年间发表的，关于利用深度学习技术融合医学影像与电子健康记录（EHR）以提升临床预测和诊断性能的研究，进行一次系统性的回顾、术语梳理和方法学总结。文章不仅综述了现有文献，更旨在为未来在该领域开展研究的人员提供清晰的概念框架和实施指南。
一、 研究背景与动机：走向情境化的医学人工智能
文章开篇即指出，深度学习技术尽管在基于医学影像的诊断、预后和治疗决策领域展现出巨大潜力，但当前最先进的模型通常仅考虑像素信息，而忽略了关键的临床背景信息。这与临床实践严重脱节。在实际诊疗中，医生需要结合患者的临床病史、实验室检查结果等非影像数据，将影像发现置于正确的临床情境中进行解读，才能实现更高的诊断准确性、做出更有价值的临床决策，并最终改善患者预后。
例如，胸片上的肺炎征象在伴有发热和白细胞升高的患者身上具有高诊断价值，但在缺乏这些支持性临床特征的患者身上，相似的影像表现可能提示肺不张、肺水肿甚至肺癌。这种例子在放射科、病理科、眼科、皮肤科等众多依赖影像的医学专科中比比皆是。因此，为了让人工智能模型达到类似人类专家的性能水平，模型必须具备处理来自EHR的上下文数据的能力，而不仅仅是像素数据。这种整合多源异构信息的需求，催生了“多模态融合（Multimodal Fusion）”这一新兴研究方向。文章指出，尽管医学影像深度学习相关文献快速增长，但融合研究仅占其中一小部分，且其方法、术语和架构多样，缺乏系统性的整理。本综述的目的正是填补这一空白。
二、 核心概念与融合策略的明确定义
文章的一个关键贡献是对多模态数据融合策略进行了清晰的定义和分类，提出了三种主要的融合策略：早期融合（Early Fusion）、联合融合（Joint Fusion）和晚期融合（Late Fusion）。这为领域内统一术语奠定了基础。
早期融合：也称为特征级融合。指在输入到单一机器学习模型进行训练之前，将多个输入模态（如影像特征和临床特征）连接成一个单一特征向量的过程。这可以是对原始特征直接连接，也可以是对从其他网络提取的特征进行连接。其特点是，特征提取步骤（如果存在）与最终的预测模型训练是分离的。该策略实现直接，通常是尝试多模态学习的首选。
联合融合：或称为中间融合。指将来自神经网络中间层的已学习特征表示，与其他模态的特征相结合，再输入到最终模型的过程。其与早期融合的关键区别在于，训练过程中的损失会反向传播回特征提取网络，从而在每次训练迭代中为每个模态创建更优的、彼此互补的特征表示。这种策略依赖于神经网络架构。
晚期融合：也称为决策级融合。指利用来自多个独立模型的预测结果来做出最终决策。通常，不同模态用于训练独立的模型，然后通过聚合函数（如平均、多数投票、加权投票或基于各模型预测结果的元分类器）来组合这些预测。该策略的优势在于可以处理数据缺失问题（当某一模态数据缺失时，其他独立模型仍可运行），并且能避免因不同模态特征维度差异巨大而导致的维度灾难问题。
三、 系统性文献综述的主要发现
研究团队遵循PRISMA指南，在PubMed和Scopus数据库中系统检索了2012年至2020年的相关文献。经过筛选，最终纳入了17篇符合标准的原创性研究论文进行数据提取和分析。这些研究涵盖了神经科（如阿尔茨海默病诊断/预测）、皮肤病学（如皮肤癌分类）、放射肿瘤学（如肺癌、乳腺癌风险预测）、眼科、血液科等多个临床领域。
早期融合的应用与效果：在纳入的17项研究中，有11项采用了早期融合策略。其中，6项研究使用卷积神经网络（CNN）从医学影像中提取特征，然后与临床特征简单连接或先进行降维再连接。另有5项研究则使用了软件生成（如影像组学特征）或手动提取（如放射科医生评估的结构尺寸、形态）的影像特征。在将融合模型与单模态模型性能进行比较的7项早期融合研究中，有6项显示融合带来了性能提升（准确性提升范围在1.2%至27.7%，或AUC提升0.02至0.16），1项达到了同等性能但标准差减小，表明模型稳定性更佳。这强有力地证明了整合临床数据对提升模型性能的有效性。
联合融合的应用与效果：有4项研究采用了联合融合策略。这些研究通常使用CNN学习影像特征，然后将这些特征与临床特征融合，再输入前馈神经网络。一项研究（Kawahara等，2019）尝试了独特的多模态多任务损失函数。采用联合融合的研究普遍报告其性能优于纯影像模型。例如，Yoo等（2019）的研究显示，联合融合模型比其晚期融合模型的AUC提高了0.02。
晚期融合的应用与效果：有3项研究采用了晚期融合策略。每项研究采用了不同的聚合方法：取预测概率的平均值、使用预测概率作为输入训练元分类器、以及多层级的多数投票法。所有晚期融合模型相比单模态模型都显示了性能改进。其优势在于能灵活处理不同模态独立预测、以及应对数据缺失的实际情况。
四、 融合模型实施指南：策略选择与考量
基于对现有研究的分析，文章为研究者提供了宝贵的实施指南，总结了不同融合策略的适用场景、优势和注意事项，并汇总成表格（见表2）。
何时选择早期融合：早期融合是实现多模态学习最直接的首选策略，特别是当模态特征维度可以通过预处理（如将影像特征提取为1维向量）进行对齐时。当数据集较小或某些输入特征稀疏时，早期（或晚期）融合可能比需要训练复杂网络的联合融合更合适，因为它们可以与更适合小数据集的传统机器学习算法（如LASSO）结合使用。研究表明，早期融合通常能稳定提升性能。
何时选择联合融合：当使用CNN提取影像特征时，可以自然地扩展为联合融合架构。联合融合的优势在于能够通过学习过程迭代更新特征表示，使不同模态的特征更好地互补，理论上具有超越其他策略的潜力。然而，它需要足够的数据来训练神经网络，以避免过拟合。在输入模态特征维度差异大时，可以通过设置特征提取层的输出维度来平衡。
何时选择晚期融合：在几种情况下晚期融合更具优势：(1) 当不同模态的信号相互独立，分别对最终预测有贡献，而非高度互补时；(2) 面临“维度灾难”风险，即融合后特征维度过高而样本量不足时，晚期融合通过为每个模态训练独立模型来避免此问题；(3) 在实际临床场景中常见的数据缺失或不完整情况，晚期融合因其模型独立性而能继续提供预测（例如，缺失影像数据时，临床模型仍可工作）；(4) 不同模态的特征数量差异极大，晚期融合可以平等对待每个模态的预测，避免特征丰富的模态主导结果。
文章建议，理想的研究流程应先构建和优化单模态模型作为基线，然后尝试并比较多种融合策略。鉴于多模态融合能一致性地带来性能提升，未来的最佳实践应包括系统地报告对不同融合策略的探索。
五、 研究的局限性与未来方向
作者也指出了本综述的局限性：检索时间范围（2012年后）可能遗漏了早期使用传统机器学习进行融合的研究；发表偏倚可能高估了融合技术的优势；纳入研究的目标、输入模态、性能指标各异，无法进行荟萃分析；部分研究未使用独立的测试集进行无偏性能评估。
对于未来研究方向，文章提出以下几点：(1) 多模态融合是一个充满希望但尚处早期的领域，需要统一的术语和评估指标。(2) 当前研究使用的非影像数据（EHR数据）复杂度有限，未来应探索利用EHR中更丰富的特征和时间序列数据。(3) 需要更多的研究来系统评估联合融合策略相对于其他策略的潜在优势。(4) 应开发能够更好地处理缺失数据的融合架构。(5) 除了分类和预测，融合技术也应拓展到分割、配准等其他医学图像分析任务中。
六、 综述的价值与意义
这篇系统性综述具有多重重要价值。首先，它首次系统性地梳理和回顾了深度学习在医学影像与EHR融合这一新兴交叉领域的研究进展，为领域研究者提供了全面的“知识地图”。其次，它对关键术语（三种融合策略）进行了清晰的定义和图示，建立了统一的概念框架，有助于减少未来研究中的歧义。第三，也是最具实践指导意义的部分，文章基于证据总结出的“实施指南”，为研究人员根据具体数据特点、任务需求和实际约束（如数据缺失）选择最合适的融合策略提供了决策依据。最后，文章指出了当前研究的不足和未来潜力方向，为领域的健康发展指明了路径。
该文不仅是一篇文献总结，更是一份方法论指南和领域发展路线图。它强有力地论证了融合临床上下文信息对于开发高性能、高临床相关性的医学人工智能模型的必要性，并通过系统性的证据和清晰的指南，推动了医学多模态深度学习从概念探索走向更规范、更有效的实践。