本文是一篇发表于Scientific Reports期刊（2022年，第12卷，文章号17981）的学术论文，题为“Artificial intelligence-based methods for fusion of electronic health records and imaging data”。该研究的第一作者是Farida Mohsen，通讯作者是Zubair Shah*，所有作者均来自卡塔尔哈马德·本·哈利法大学（Hamad bin Khalifa University, Qatar Foundation）。论文类型为 类型b：一篇系统性的范围综述（Scoping Review）。以下是对该论文的学术报告。

论文主题介绍 本文是一篇关于人工智能（AI）技术在医学多模态数据融合领域应用的范围综述（Scoping Review）。其核心主题是系统性地回顾、综合与分析那些利用AI方法（包括机器学习（Machine Learning, ML）和深度学习（Deep Learning, DL））来融合电子健康档案（Electronic Health Records, EHR）与医学影像数据，以解决不同临床应用问题的现有科学研究。该综述旨在为研究人员提供一个清晰的领域知识图谱，阐明当前的研究现状、主流方法、应用场景以及存在的挑战与机遇。

主要论点一：医疗数据多模态融合的必要性与AI的赋能作用 文章开篇即指出，医疗数据本质上是多模态的，包括EHR、医学影像、多组学数据等。整合这些多模态数据源有助于更全面地理解人类健康，是实现精准医疗和提供最优个性化医疗的关键。然而，如何有效地融合这些异构数据是一个核心挑战。近年来，AI技术的飞速发展，特别是ML和DL，为融合不同数据模态提供了强大的工具，使得从多模态数据中获取综合洞察成为可能。

• 支持论据与子观点：
  1. 临床决策的互补性需求：论文引用多项研究指出，在影像解读（如放射学、皮肤病学、眼科）中，缺乏相关的临床和实验室数据会降低诊断的准确性。EHR提供的临床背景信息对于正确解释影像数据至关重要。
  2. AI处理复杂数据的能力：AI和ML模型能够处理高维、具有不同统计特性和缺失值模式的多模态数据，从而实现有用的融合。
  3. 性能提升的实证：综述提到，在阿尔茨海默病诊断预测、乳腺癌诊断、糖尿病视网膜病变预测等多个应用中，融合影像与临床数据的AI模型性能均超越了单一模态模型，这证明了多模态融合的实用价值。

主要论点二：现有研究的系统分析揭示了领域发展趋势与模式 本综述通过遵循PRISMA-ScR指南，系统检索了四个数据库（Embase, PubMed, Scopus, Google Scholar），最终纳入了34篇符合标准的研究（截至2022年初）。基于对这些研究的深入分析，论文提炼出以下几个关键模式：

• 支持论据与子观点：
  1. 研究增长趋势：融合影像与EHR的研究呈增长态势，特别是在2020年至2021年间，相关研究数量翻倍，显示出该领域日益增长的兴趣。
  2. 典型工作流程：大多数研究遵循一个典型流程：输入原始数据，应用传统ML或DL算法融合不同数据模态，最后通过临床结果预测来评估融合效果。
  3. 融合策略偏好：早期融合（Early Fusion）是最常用的技术（34篇研究中的22篇）。其次是联合融合（Joint Fusion，10篇），晚期融合（Late Fusion）使用最少（2篇）。论文对每种策略的定义、实现方式及其在纳入研究中的具体应用进行了详细阐述。
  4. 疾病与临床结局分布：从疾病类型看，神经系统疾病（尤其是阿尔茨海默病和轻度认知障碍）是主导类别（16篇）。从临床任务看，疾病诊断（20篇）和疾病预测（10篇）是最常见的应用。
  5. AI模型使用情况：传统ML模型使用最多（19篇），其次是DL模型（16篇）。这表明尽管DL日益流行，传统ML方法在多模态融合，特别是数据量有限或特征工程明确的场景下，仍然发挥着重要作用。
  6. 数据资源现状：所使用的多模态数据大多来自私有存储库（21篇），公开可访问的数据集有限。最常用的公共数据集是阿尔茨海默病神经影像倡议（Alzheimer’s Disease Neuroimaging Initiative, ADNI）数据集。

主要论点三：对不同融合策略的深入剖析与比较 论文不仅统计了融合策略的使用频率，还深入分析了每种策略的技术细节、适用场景及其在纳入研究中的具体实现方式，为读者提供了方法论上的指导。

• 支持论据与子观点：
  1. 早期融合（特征级融合）：在输入层将不同模态的特征连接后，送入单一模型训练。多数研究在融合前，需先将2D/3D影像数据通过手动、软件或神经网络（如CNN）提取为1D特征向量，再与1D的EHR特征结合。其优势在于能够学习模态间特征的交互，且只需训练一个模型，流程相对简单。分析显示，采用早期融合的研究大多报告其性能优于单模态模型。
  2. 联合融合（模型级融合）：使用神经网络分别学习各模态的特征表示，并在网络的中间层进行融合，最终的损失会反向传播更新所有特征提取器。这通常需要DL架构，如用CNN处理影像，用全连接网络处理结构化EHR，用LSTM处理文本报告，然后拼接特征向量。联合融合能通过迭代更新更好地学习跨模态关联，可能在数据充足时提供更优性能。
  3. 晚期融合（决策级融合）：为每个模态训练独立的模型，然后通过加权平均、多数投票或元分类器等策略聚合各模型的预测结果。其优点在于对不完整数据友好（某个模态缺失仍可预测），且当各模态特征数量差异巨大或数据量较小时更具优势。虽然使用最少，但纳入的两项研究表明晚期融合模型性能优于早期、联合融合及单模态模型。

主要论点四：公开多模态数据资源的缺乏是领域发展的关键瓶颈 论文明确指出，尽管多模态医学数据融合前景广阔，但其发展受到高质量、大规模公开数据集稀缺的严重制约。

• 支持论据与子观点：
  1. 数据现状：分析发现，超过一半的研究使用私有数据，这限制了研究的可重复性和结果的普遍性。
  2. 主要公共数据集：综述汇总了如ADNI、NACC、MIMIC-IV、MR CLEAN trial等有限的几个公开多模态数据集，并指出ADNI在推动阿尔茨海默病相关研究方面起到了核心作用。
  3. 影响与呼吁：依赖少数公开数据集可能无法得出适用于全球人群的临床结论。论文强调，迫切需要鼓励机构和医院之间安全地共享数据，以促进更广泛人群的临床研究。

主要论点五：未来研究方向与挑战 基于综述发现，作者提出了该领域未来的几个重要发展方向以及当前存在的局限性。

• 支持论据与子观点：
  1. 拓展数据模态：未来研究不应局限于EHR和影像，还应整合多组学（Multi-omics）、环境数据等，以构建更全面的疾病视图，推动个性化医疗。
  2. 利用新技术解决数据隐私问题：联邦学习（Federated Learning）被提出作为一种有潜力的解决方案，它允许多个中心在不直接共享原始数据的情况下协作训练模型，有助于安全地汇集多中心、多模态数据。
  3. 挖掘更丰富的EHR信息：当前研究使用的EHR特征往往较为基础（如人口统计学、少数几个关键临床指标）。未来应探索利用EHR中更丰富、更深层次的特征信息。
  4. 本综述的局限性：作者也坦诚了本综述的局限性，包括只收录英文文献、时间范围限制、未包含多组学数据融合研究、可能存在发表偏倚，以及因各研究输入模态、临床任务和评估指标不同而难以进行直接量化比较等。

论文的意义与价值 本综述具有重要的学术价值和实践指导意义：

1. 领域知识图谱：它为对医学多模态AI融合感兴趣的研究人员提供了一份详尽的“现状地图”，清晰梳理了主流融合策略、应用疾病谱、常用算法模型和可用数据资源。
2. 方法论指南：通过对比分析不同融合策略的特点、实现方式和适用场景，为后续研究者根据自身数据条件和任务目标选择合适的技术路径提供了实证参考和决策依据。
3. 资源导航与倡议：明确指出公开数据资源匮乏的现状，并汇总了现有资源，同时呼吁开发更多共享数据集和采用联邦学习等新技术，这对推动领域健康发展至关重要。
4. 临床转化桥梁：通过展示多模态融合模型在多种疾病诊断和预测任务上持续优于单模态模型的证据，强化了临床语境与影像信息相结合的重要性，为开发更精准、更可靠的AI辅助临床决策工具指明了方向。
5. 未来展望：提出的未来研究方向（如融合更多模态、利用复杂EHR特征、解决数据隐私问题）为该领域的持续创新和深化提供了清晰的路线图。

这篇综述不仅是对过去几年医学多模态AI融合研究的一次系统性总结，更是一份承前启后的重要文献，既肯定了该领域已取得的显著进展，也直面了存在的挑战，并为未来的研究突破奠定了坚实的基础。