《通过多模态数据融合推进医疗：技术与应用全面综述》报告

本文是 Jing Ru Teoh、Jian Dong、Xiaowei Zuo、Khin Wee Lai、Khairunnisa Hasikin 和 Xiang Wu 合作撰写的一篇学术综述论文，于2024年10月30日在线发表在开放获取期刊《PeerJ Computer Science》上。该研究团队来自马来西亚马来亚大学生物医学工程系、中国电子技术标准化研究院、徐州医科大学附属徐州东方医院精神病学科、马来西亚马来亚大学工程系新兴技术智能系统中心，以及中国徐州医学信息研究所。论文的标题为“Advancing healthcare through multimodal data fusion: a comprehensive review of techniques and applications”，聚焦于人工智能（AI）在医疗健康领域的一个前沿交叉方向：多模态数据融合。

本文的核心论点是：有效整合与融合来自不同来源（如医学影像、电子健康记录、基因组学等）的多样化医疗数据，是提升AI模型诊断准确性、实现个性化治疗和优化临床决策支持的关键。然而，尽管潜力巨大，当前医疗领域的多模态数据融合应用仍有限。本综述旨在通过系统梳理2018年至2024年间的相关研究，全面概述技术方法、应用现状、面临挑战及未来趋势，为研究者和实践者提供清晰的路线图。

论文的主要观点阐述如下：

第一，明确了医疗AI发展中依赖单模态数据的局限性，并阐述了多模态数据融合的必要性与核心优势。 文章开篇指出，当前大多数医疗AI应用主要依赖单一类型数据，例如计算机断层扫描、磁共振成像或X光影像。这种“单任务-单模态”模型往往缺乏全面的临床背景，与临床医生所依赖的整合性、多源信息的“全人”诊疗方法形成鲜明对比。这限制了AI提供全面洞察的能力，可能错失提升治疗有效性和诊断准确性的机会。特别是在放射影像解读和临床决策支持系统中，仅凭图像分析而忽略患者人口统计学特征、临床病史、实验室结果等关键上下文信息，难以实现媲美人类专家的精准判断。相反，融合多种数据模态已被证明能够显著提高多种医学影像任务的诊断准确性，并有助于理解癌症等复杂疾病的异质性，从而指导个体化治疗。因此，利用多模态数据是实现更精准、个性化、高效医疗的必然路径。

第二，系统定义并分类了多模态数据融合的三种核心技术方法：早期融合（Early Fusion）、中期融合（Intermediate/Joint Fusion）与晚期融合（Late Fusion），并分析了各自的优缺点。 这是本文的技术核心部分。作者通过图示和文字详细说明了这三种架构： 1. 早期融合：也称为特征级或低层融合，其特点是在模型训练之前，将不同输入模态（如图像特征和临床数据）合并成一个统一的特征向量。合并方法可以是拼接、池化或门控单元等。其优点在于能够从低层特征中学习模态间的关系。然而，它可能难以捕获需要显式学习边缘表示的更高层次关系，并且对不同模态间采样率的变化较为敏感。 2. 中期融合：又称为联合或中层融合，是在神经网络中间层将学习到的特征表示进行整合。与早期融合不同，中期融合允许训练过程中的损失函数反向传播并影响特征提取模型，从而迭代地精炼特征表示。这种方法更侧重于学习到的特征表示本身，而非原始数据，有可能发现更具信息量的潜在因子。常见于分支神经网络模型中，将中间层的特征与其他来源的特征融合。 3. 晚期融合：即决策级融合，先为每个模态训练独立的模型，然后将这些模型的预测结果通过聚合函数（如最大值、平均值或贝叶斯规则）合并为最终决策。这种方法通过一个元学习器来权衡每个预测源的重要性，而非单个特征，有助于提升最终标签的准确性。 作者指出，在所综述的69篇研究中，早期融合和中期融合方法应用最为广泛（分别为28篇和23篇），晚期融合应用相对较少（18篇）。

第三，通过详尽的文献分析，展示了多模态数据融合技术在多种疾病诊疗中的具体应用及其显著成效。 论文利用表格和图表，详细总结了阿尔茨海默病、各类癌症、贫血、COVID-19、心血管疾病、糖尿病等十余种疾病中应用不同融合技术的研究。关键发现包括： * 阿尔茨海默病是研究热点，大量研究融合磁共振成像、正电子发射断层扫描图像与临床评估、人口统计学、遗传标志物（如APOE4）等数据，用于疾病预测和分类。例如，Bhagwat等人（2018）使用纵向孪生神经网络，在阿尔茨海默病神经影像倡议数据集上实现了高达0.900的准确率和0.968的AUC。 * 癌症研究广泛涉及乳腺癌、肺癌、皮肤癌、前列腺癌等。研究普遍表明，融合病理图像、基因组数据和电子健康记录能显著提升分类和预后预测性能。例如，Yan等人（2021）通过融合病理图像和结构化电子健康记录，将乳腺癌分类准确率提升至92.9%。 * COVID-19诊断中，有研究创新性地融合胸部X光图像与咳嗽音频数据，或结合CT扫描与医学咨询文本，提高了早期诊断和分类的准确率。 * 心血管疾病方面，研究通过融合心脏磁共振图像、心电图数据和临床信息，来预测心脏再同步化治疗的响应，取得了优于基线方法的结果。 总体而言，几乎所有被综述的研究都证实，与单模态模型相比，多模态数据融合模型在准确率、敏感性、特异性、AUC（受试者工作特征曲线下面积）和C-index（一致性指数）等性能指标上 consistently 表现更优。

第四，深入探讨了用于融合的不同类型医疗数据及其组合方式。 文章将健康数据主要分为影像数据、临床数据和组学数据三大类。并具体阐述了四种主要的融合组合策略： 1. 影像与结构化数据的融合：这是最常见的方式，例如将医学影像（MRI、CT等）与电子健康记录中的结构化数据（年龄、性别、实验室指标等）相结合。文中以阿尔茨海默病和贫血检测为例说明了这种融合的有效性。 2. 影像与非结构化数据的融合：例如，将胸部X光图像与对应的放射学报告文本相结合，或者将COVID-19患者的影像与咳嗽音频相结合。这种融合需要自然语言处理等技术来处理文本或音频信息。 3. 多种影像模态的融合：融合不同成像技术提供的互补信息，例如将PET与MRI融合用于阿尔茨海默病诊断，或将动态增强MRI与数字乳腺X线摄影融合用于乳腺癌检测。 4. 其他特征融合：更广泛的融合，可能包括影像、结构化电子健康记录和自由文本报告（如临床笔记）的结合。例如，有研究融合脑部MRI、电子健康记录和临床文本报告来预测多发性硬化症的严重程度。

第五，归纳了当前医疗多模态数据融合面临的主要挑战与未来研究方向。 基于对现有文献缺点的分析，作者指出了以下几个关键挑战： * 数据质量与可用性问题：包括数据缺失、样本量小、存在噪声或异常值、以及高维影像数据与低维临床特征整合困难。 * 临床验证与泛化能力不足：许多研究缺乏在独立数据集上的外部验证，与人类医生表现的直接比较较少，限制了其临床可信度和推广价值。 * 数据共享与标注瓶颈：高质量、大规模、多模态标注数据集仍然稀缺，阻碍了更强大模型的开发。 针对这些挑战，论文提出了未来的研究趋势，包括：开发更鲁棒的数据插补和异常值检测方法；利用生成对抗网络或变分自编码器进行数据合成以扩充样本；探索半监督学习以利用大量未标注数据；采用主成分分析、自编码器等降维技术解决数据维度不匹配问题；以及建立促进数据共享的协作平台和标准化协议。

第六，提出了一个用于改进临床决策支持的多模态数据整合框架，并阐述了其潜在价值。 作者在讨论部分构想了一个循环框架：从各大医院或健康中心收集多源数据；通过多模态数据融合技术进行聚合；利用AI建模流程分析数据，提取关于诊断、预后、风险评估和治疗方案的健康洞见；最后将这些洞见反馈给医院和医生，辅助其做出更明智的临床决策。该框架旨在系统性地解决当前数据孤岛、信息整合不足以及决策支持缺乏综合视角的问题。

总结而言，这篇综述论文的价值与意义在于： 1. 系统性梳理：首次对2018年至2024年初医疗AI领域的多模态数据融合研究进行了大规模、系统性的梳理，涵盖了69篇关键文献，提供了该领域发展的全景视图。 2. 技术框架明晰化：清晰定义和对比了早期、中期、晚期三种核心融合技术，并辅以架构图，为研究人员选择合适方法提供了理论依据。 3. 应用图谱具体化：通过疾病分类和大量实例，具体展示了多模态融合在不同临床场景下的应用策略和性能提升，极具参考价值。 4. 挑战与展望前瞻性：不仅总结了现状，更深刻指出了当前研究存在的共性问题和瓶颈，并提出了切实可行的未来研究方向，对领域发展具有指导意义。 5. 资源整合：文中汇总了常用于特定疾病研究的公共数据集（如ADNI、TCGA、MIMIC等）及其链接，为后续研究者提供了宝贵的资源入口。

因此，本文不仅是一篇全面的文献总结，更是一份为希望进入或深耕医疗多模态AI融合领域的研究人员和实践者准备的“导航图”与“方法论指南”，对于推动AI在医疗健康领域向更深入、更实用、更可靠的方向发展具有重要意义。