关于PathChat：一种用于人类病理学的多模态生成式人工智能副驾驶的学术研究报告

一、 研究团队与发表信息 本研究的主要作者包括来自哈佛医学院布莱根妇女医院和麻省总医院病理学系的Ming Y. Lu、Bowen Chen、Drew F. K. Williamson、Richard J. Chen、Faisal Mahmood，以及来自俄亥俄州立大学韦克斯纳医学中心、梅奥诊所、麻省理工学院等多家机构的合作者。该研究成果于2024年10月10日发表在《自然》（Nature）期刊的第634卷上。

二、 学术背景与研究目标 本研究属于计算病理学（Computational Pathology）与人工智能的交叉领域。尽管计算病理学在任务特定的预测模型和任务无关的自监督视觉编码器方面取得了显著进展，但生成式人工智能，特别是多模态大语言模型（Multimodal Large Language Models, MLLMs）的爆炸性增长，为病理学开辟了新的前沿。然而，目前尚缺乏专门针对病理学领域构建的、通用的多模态AI助手或副驾驶。自然语言在病理学中扮演着关键角色，它是解锁丰富医学知识的钥匙、模型开发的监督信号，也是促进AI模型与最终用户之间直观交互的统一媒介。现有的一些视觉-语言预训练模型或专门模型，虽在特定任务上表现出潜力，但尚不能作为能够遵循多样化指令、连贯且准确地回答复杂开放式问题的交互式伴侣。

因此，本研究的目标是开发并评估一个专为人类病理学设计的、名为PathChat的多模态生成式AI副驾驶。它旨在成为一个能够灵活处理视觉和自然语言输入的交互式视觉-语言AI副驾驶，以在病理学教育、研究和人机交互临床决策支持中寻找有影响力的应用。

三、 详细研究流程 本研究主要包括三个核心部分：PathChat模型的构建与训练、评估基准PathQABench的创建，以及对PathChat与现有模型的系统性评估。

1. PathChat模型的构建与训练 * 模型架构：PathChat是一个多模态大语言模型（MLLM），由三个关键组件构成：视觉编码器、多模态投影器和大语言模型。 * 视觉编码器：研究团队从UNI模型开始，这是一个在超过100万个组织学图像块上通过自监督学习预训练的最先进的、仅视觉的病理学基础编码器。为了将其图像表示空间与病理学文本对齐，他们使用118万对病理学图像和标题进行了进一步的视觉-语言预训练。 * 大语言模型：采用了拥有130亿参数的预训练Llama 2模型。 * 多模态投影器：连接视觉编码器和LLM，将视觉标记投影到与LLM文本标记相同的嵌入空间。 * 训练数据与流程：研究团队为PathChat精心策划了一个包含456,916条指令、总计999,202个问答轮次的庞大指令数据集。这些指令涵盖了对话、描述、多项选择、自由回答、纯文本和护栏（拒绝回答非病理学或无效查询）等多种格式，数据来源包括图像标题、PubMed开放获取的教育文章、病理学病例报告以及来自多个机构的WSI（全切片图像）兴趣区域（ROI）。TCGA的数据被特意排除在训练集之外，用作后续评估。 * 训练分为两个阶段： * 预训练阶段：冻结LLM权重，仅训练多模态投影器，使其学会将图像特征映射到LLM的文本嵌入空间。此阶段使用了约10万对图像-标题数据。 * 指令微调阶段：将整个MLLM（视觉编码器、投影器和LLM）进行端到端训练，使其能够根据包含自然语言和视觉输入的多样化指令生成响应。这是使用上述456,916条指令数据集完成的。

2. 评估基准PathQABench的创建 为了全面评估PathChat等MLLMs在病理学中的能力，研究者创建了一个高质量、专家策划的基准测试PathQABench。 * 数据来源：从105张H&E染色的WSI中，由一名获得委员会认证的病理学家手动选取了具有代表性的ROI。其中53个ROI来自布莱根妇女医院的内部档案（PathQABench-private），52个来自公开的TCGA数据库（PathQABench-public），确保评估数据完全独立于训练集。 * 问题设计：涵盖了11个不同组织部位和54种诊断。针对每个病例，创建了两种类型的问题： * 多项选择诊断问题：模型仅根据图像，或结合图像与临床背景信息，从十个选项中选出最可能的诊断。这模拟了真实的诊断工作流程。 * 开放式问题：基于52个公开病例，每个病例设计了5个问题，总计260个。这些问题被分为四类： * 显微镜检查：测试模型对组织学图像形态学特征的描述和评估能力（如肿瘤分级、分化状态）。 * 诊断：测试模型基于图像和临床背景直接提出合理诊断的能力。 * 临床知识：测试模型检索疾病相关背景知识的能力（如风险因素、预后、治疗）。 * 辅助检测：测试模型建议进一步检测（如免疫组化IHC、分子检测）以确认诊断或指导预后的能力。

3. 模型评估与比较 研究将PathChat与多个先进的MLLM进行了比较： * 对比模型： * LLaVA 1.5：一个最先进的开源通用领域MLLM。 * LLaVA-Med：专门针对生物医学领域微调的LLaVA版本。 * GPT-4V：驱动ChatGPT-4的商业化、最先进的通用多模态AI助手（仅用于评估公开病例集）。 * 评估方法： * 多项选择诊断：计算模型选择正确答案的准确率。分别在“仅图像”和“图像+临床背景”两种设置下进行。 * 开放式问题回答：采用双重评估。 1. 专家排名：七名病理学家在不知情的情况下，对四个模型的回答进行从优到劣的排名，评估标准包括相关性、正确性、解释的合理性和简洁性。 2. 准确性评估：两名病理学家独立将每个模型的回答标记为“正确”或“错误”，并对存在分歧的答案进行讨论以达成共识。基于共识子集计算每个模型的准确率。

四、 主要研究结果 1. 多项选择诊断问题上的表现 在包含105个问题的综合基准测试中，PathChat在“仅图像”设置下的诊断准确率达到78.1%，在“图像+临床背景”设置下提升至89.5%。PathChat在这两种设置下均显著优于开源基线模型LLaVA 1.5和LLaVA-Med（p < 0.001）。 在基于公开病例的PathQABench-public子集上，PathChat的表现也优于GPT-4V。在提供临床背景的情况下，PathChat准确率为90.5%，而GPT-4V为63.5%（+26.9%）；在仅图像情况下，PathChat为78.8%，GPT-4V为25%（+53.8%）。值得注意的是，GPT-4V因内置护栏（guardrails）有时会拒绝回答，但即使在它成功回答的问题子集上，PathChat仍以较大优势领先。

2. 开放式问题回答上的表现 * 专家排名：在七名病理学家的独立评估中，PathChat的回答总体上比其他所有测试的MLLM更受青睐。与表现次优的GPT-4V相比，PathChat的中位胜率（win rate）为56.5%，中位负率（lose rate）仅为22.3%，中位平局率（tie rate）为21.2%。相对于LLaVA 1.5和LLaVA-Med的优势则更为明显。 * 准确性评估：在两名病理学家达成共识的235个问题子集上，PathChat的总体准确率达到78.7%。这比GPT-4V（52.3%）高出26.4%（p < 0.001），比LLaVA 1.5（29.8%）和LLaVA-Med（30.6%）高出约48个百分点（p < 0.001）。 * 分项能力分析： * 显微镜检查与诊断：PathChat在这两个需要检查组织学图像的类别上表现尤为突出，准确率显著高于GPT-4V（例如，诊断类别：PathChat 78.5% vs. GPT-4V 31.6%）。专家排名也显示，在约86%的强调图像检查的查询中，PathChat被认为优于或等同于GPT-4V。 * 临床知识与辅助检测：在这两个更多依赖背景知识检索的类别上，PathChat表现良好（准确率约80%），但略低于GPT-4V（约89%），不过差异在统计学上不显著。专家排名显示PathChat在这两个类别上与GPT-4V表现相当或略受偏好。

3. 多样化用例演示 研究还通过示例展示了PathChat作为病理学AI副驾驶的潜在应用场景，包括：详细描述组织形态学特征、结合临床背景推断肿瘤原发部位、理解并应用诊断指南（如前列腺癌Gleason评分）、指导免疫组化（IHC）解读，以及进行需要多轮交互和IHC检测结果反馈的人机协同鉴别诊断。

五、 研究结论与价值 本研究成功构建并验证了PathChat，一个为人类病理学量身定制的多模态生成式AI副驾驶的概念验证。通过创建高质量的专家评估基准PathQABench，并与当前最先进的通用及生物医学专用MLLMs进行比较，研究证明PathChat在多项选择诊断和开放式病理学查询回答方面，不仅显著优于开源模型，也优于规模更大、更昂贵的商业解决方案GPT-4V。PathChat特别擅长需要分析组织学图像的任务，如形态学描述和诊断。

PathChat的价值在于： * 科学价值：证明了通过结合领域特定的视觉-语言预训练和大规模指令微调，可以构建出在高度专业化领域（如病理学）超越通用模型的专用MLLM。这为其他医学专科AI助手的发展提供了方法论参考。 * 应用潜力：作为一个能够理解自然语言指令、分析病理图像并进行多轮对话的交互式工具，PathChat有望在病理学教育（提供专家级指导）、研究（自动化形态学特征量化与解释）以及人机协同临床决策支持（辅助诊断、建议辅助检测）等方面找到重要应用，特别是在资源有限、病理专家稀缺的环境中。

六、 研究亮点 1. 首创性：这是首个专门为人类病理学构建的通用多模态生成式AI助手/副驾驶的系统性研究，填补了该领域的空白。 2. 大规模高质量数据：创建了目前最大的、针对病理学的指令微调数据集（超过45万条指令），并构建了首个高质量、专家策划的病理学视觉问答评估基准（PathQABench），为后续研究设立了高标准。 3. 卓越性能：PathChat在诊断准确率和开放式回答质量上，全面超越了包括GPT-4V在内的现有先进模型，尤其是在核心的图像解读和诊断任务上优势明显。 4. 系统性评估：研究设计严谨，采用了包括客观准确率计算和多名病理学家盲法排名的主观偏好评估在内的双重评估体系，并从多个维度（显微镜、诊断、临床、辅助检测）深入分析了模型的优缺点。 5. 实用导向：不仅评估了标准问答任务，还探索了多轮对话、鉴别诊断等更贴近实际工作流程的复杂用例，展示了其作为“副驾驶”的交互潜力。

七、 其他有价值内容 * 模型局限性：文章讨论了PathChat及类似MLLM的局限性，包括可能产生“幻觉”（hallucination）输出、需要与人类意图进一步对齐（例如通过人类反馈强化学习RLHF）、在处理整个千兆像素级WSI而非预选ROI方面的能力有待扩展，以及知识可能过时等问题。 * 未来方向：提出了未来研究方向，如支持输入整个WSI、通过持续学习或检索增强生成（Retrieval Augmented Generation, RAG）更新知识、集成到数字切片查看器或电子健康记录系统中，以及支持更专业的任务（如精确计数、目标定位）。 * 伦理与验证：强调了在真实世界部署前，需要对模型进行进一步改进和验证，以确保其能一致地识别无效查询并避免产生意外或错误输出。研究获得了机构审查委员会的批准，并遵循了患者数据脱敏和隐私保护规范。