研究：MMEDPO：通过临床感知的多模态偏好优化对齐医学视觉-语言模型

主要作者与发表信息

本研究由来自北卡罗来纳大学教堂山分校（UNC Chapel-Hill）、布朗大学（Brown University）和华盛顿大学（University of Washington）的 Kangyu Zhu、Peng Xia、Yun Li、Hongtu Zhu、Sheng Wang 和 Huaxiu Yao 共同完成。其中，Kangyu Zhu 和 Peng Xia 为共同第一作者，研究工作在 Kangyu Zhu 于北卡罗来纳大学教堂山分校实习期间完成。该论文发表于《第42届国际机器学习大会论文集》（Proceedings of the 42nd International Conference on Machine Learning），并于2025年在加拿大温哥华的会议上宣读。

学术背景与研究目的

该研究属于医学人工智能与多模态大模型交叉的科学领域。近年来，大型视觉-语言模型（Large Vision-Language Models, LVLMs）的迅猛发展推动了其在医学领域的应用，随之诞生的医学大型视觉-语言模型（Medical LVLMs, Med-LVLMs）在疾病诊断、治疗方案规划等方面展现出巨大潜力。然而，这些模型始终面临事实准确性（Factuality）的严峻挑战，其根源在于模态失准（Modality Misalignment）问题——即模型在处理医学图像和文本时，往往会优先依赖训练过程中习得的文本知识，而忽略实际的视觉输入。这种偏差导致模型产生幻觉（Hallucinations），输出表面连贯但与医学图像信息相悖的文本，这在临床上是极其危险的。

为了解决这个问题，已有研究尝试采用偏好优化（Preference Optimization）技术来对齐（Align）医学图像与文本模态。但是，这些现有方法主要沿用了面向自然图像的通用偏好数据生成流程，严重忽略了所生成的偏好样本的临床相关性（Clinical Relevance）。这导致偏好数据中的“偏好”与“非偏好”样本过于容易区分，从而削弱了对齐训练的有效性。临床相关性主要体现在两个层面：其一，非偏好响应本身必须具有临床意义，否则模型可轻易识别并忽略；其二，模型需要特别关注图像中的局部病灶（Lesion）区域，纠正因忽视这些关键区域而产生的非偏好响应。正是基于这些问题，本研究提出了 MMEDPO，一种新颖的、考虑临床相关性的多模态医学偏好优化方法，旨在通过更有效的对齐来增强 Med-LVLMs 的事实准确性。

研究设计与详细工作流程

该研究设计了一套完整的 MMEDPO 框架，其核心工作流程包含三个紧密相连的步骤。

第一步：多模态偏好数据构建（Preference Data Curation）。 研究的目标是构建一个高质量、医学特异性的多模态偏好数据集。为此，他们设计了两条策略来产生“非偏好”数据。 策略一为“生成带有幻觉的医学响应”。研究者首先对目标 Med-LVLM 进行多次采样，生成一组可能包含幻觉的候选响应。然后，利用 GPT-4o 评估所有候选响应，选出与真实情况（Ground Truth）冲突最显著、幻觉程度最高的那个作为非偏好响应。如果所有候选响应的幻觉都不够明显，则直接使用 GPT-4o 根据真实答案生成一个包含事实性错误的全新响应，确保其含有不准确的影像解读、误导性描述或错误诊断。此策略下，真实答案被视为偏好响应。 策略二为“通过局部病灶区域加噪引发非偏好”。研究者首先利用一个医学视觉工具（如 MedKLIP）来预测每张医学图像中的疾病相关局部区域热力图。随后，他们采用一个精心设计的局部加噪过程，专门在这些检测到的病灶区域引入噪声，从而破坏模型对这些关键区域的视觉理解，生成一张带噪图像。在此策略下，原始图像与真实答案的组合被视为偏好数据，而带噪图像与同一真实答案的组合则被视为非偏好数据，因为模型在观察带噪图像后，其回答很可能因忽视病灶区域而变得不准确。最终，两种策略生成的偏好数据被合并，形成完整的偏好数据集。

第二步：量化临床相关性评分（Quantified Clinical Relevance Score）。 在获得偏好数据后，研究者为每个样本分配一个量化的临床相关性分数，以驱动更有效的优化，其核心假设是临床相关性越高的样本，对偏好优化的贡献越大。 对于策略一生成的纯文本偏好样本，研究者仅基于模型的内部医学知识来评估非偏好响应的临床相关性。为避免单一医学大语言模型（Med-LLM）评估带来的偏差，他们设计了一个多智能体协作系统（Multi-Agent Collaboration System）。该系统包含多个具有不同医学专长水平的 Med-LLMs，它们通过一个结构化的辩论过程来达成共识评分。具体而言，第一个 Med-LLM 先给出评分，后续的 Med-LLM 会依次查看之前的评分并决定是否同意；若同意则沿用，若不同意则生成新分。此过程循环进行，直到所有智能体达成一致或达到预设轮次上限。 对于策略二生成的视觉偏好样本，其临床相关性取决于病灶区域检测的准确性。研究者直接采用生成热力图的视觉工具在检测病灶时输出的置信度评分（Confidence Score）作为该样本的临床相关性评分。

第三步：临床感知的偏好微调（Clinical-aware Preference Fine-tuning）。 在这一步，上一步得到的临床相关性评分被转化为样本权重，整合进偏好优化过程中。为防止因整体损失值过小导致模型欠拟合，研究首先对所有评分进行归一化处理，将其映射到一个固定的数值范围。最后，使用加权直接偏好优化（Weighted Direct Preference Optimization, Weighted DPO）损失函数，对 Med-LVLM 进行微调，使模型更关注那些临床相关性高的偏好样本。

为验证 MMEDPO 的有效性，研究者在两类任务共四个公开医学数据集上进行了严格实验：医学视觉问答（Med-VQA）任务使用 VQA-RAD 和 SLAKE 数据集，报告生成（Report Generation）任务使用 IU-Xray 和 MIMIC-CXR 数据集。实验以基于 LLaVA-Med-1.5 7B 模型的监督微调（Supervised Fine-Tuning, SFT）模型为基线，并与多种先进的偏好优化方法（如 DPO、Self-Rewarding、STLLaVA-Med、POVID、SIMA、FISAO）进行了全面比较。评估指标涵盖了准确率（Accuracy）、召回率（Recall）、BLEU、ROUGE-L 和 METEOR 等。

主要研究结果

实验结果显示，MMEDPO 在多个维度上都显著提升了 Med-LVLMs 的表现，并超越了所有基线方法。

在与基线方法的直接对比中，MMEDPO 展现了卓越的性能。在 Med-VQA 任务上，MMEDPO 在开放式和封闭式问题上的平均得分，比最好的基线方法分别提升了15.8%和10.3%。在报告生成任务上，其表现更为突出，在 IU-Xray 和 MIMIC-CXR 数据集上的指标，分别比最佳基线高出61.9%和26.0%。当在所有模型上都先应用监督微调再进行偏好优化时，MMEDPO 依然在所有四个数据集上持续超越其他方法，与单独使用 SFT 相比，平均性能提升了14.2%。这有力地证明了 MMEDPO 的兼容性和稳健性。

消融实验（Ablation Study）进一步揭示了各组成部分的贡献。首先，在两种数据构建策略中，“对局部病灶区域加噪”在报告生成这类开放式任务上效果更显著，而两种策略的结合在所有任务上都取得了最佳表现，证明它们能优势互补。其次，引入“临床相关性评分”作为权重，在两种数据策略下均一致地提升了性能，在报告生成任务上平均带来18.5%的显著增益，证实了样本加权的重要性。再次，多智能体协作系统评估出的临床相关性得分，相比单一 Med-LLM 得分，能带来平均3.6%的性能提升，表明减少评估偏差的积极作用。最后，在加噪方案上，仅在病灶区域进行“局部加噪”的效果，系统性优于在整幅图像上添加“全局噪声”，验证了引导模型关注关键区域的正确性。此外，兼容性分析表明，当 MMEDPO 应用于以更强大的 LLaMA-3 为语言基座的 LLaVA-Med++ 模型时，依然能带来全面且稳定的性能提升，证明了该方法的强泛化能力。

定性分析的结果也印证了量化指标的提升。模型的注意力图（Attention Map）可视化显示，经过 MMEDPO 微调的模型，其注意力能更集中地聚焦于图像的病灶区域，从而提取更充分的视觉信息，减少幻觉。案例研究表明，MMEDPO 生成的响应在准确描述病情（如准确捕捉心脏轮廓和肋骨骨折）和提供有临床意义的解释方面，都优于原始模型和其他基线方法。

结论与价值

本研究的主要结论是，MMEDPO 作为一种新颖的临床感知多模态偏好优化方法，能有效缓解医学视觉-语言模型中的模态失准问题，从而大幅减少事实性幻觉。其科学价值在于，它首次系统性地将“临床相关性”这一关键维度引入医疗多模态模型的偏好优化框架中，并为此设计了一套包含数据生成、量化评分和加权训练在内的完整方法论。通过创新的局部病灶加噪和多智能体协作评估机制，该研究不仅提升了模型对齐的效果，更增强了模型对医学图像中关键信息的视觉理解能力。其应用价值在于，该技术为构建更可信、准确的AI医疗辅助诊断系统提供了关键技术路径，有望降低因模型幻觉导致的误诊和漏诊风险，提升诊断效率和患者安全。

研究亮点

本研究的亮点主要体现在以下三个方面：1. 创新性地引入临床相关性：MMEDPO 首创量化偏好样本临床显著性的方法，将其作为样本权重融入 DPO 优化过程，使对齐训练更具临床针对性，区别于以往通用的偏好优化方案。2. 双管齐下的数据构建策略：研究同时从文本和视觉两个路径构建非偏好数据，即利用 GPT-4o 注入“似是而非的幻觉”和利用视觉工具进行“局部病灶区域加噪”，前者增加了错误响应的迷惑性，后者强制模型关注关键视觉区域，两者结合使构建出的偏好数据集难度更高、更有训练价值。3. 多智能体协作评估机制：为防止单一模型评估产生的偏差，研究者设计了一个由多个医疗大语言模型组成的辩论式多智能体协作系统，用于生成更可靠的临床相关性评分，这种设计思路提升了自动化评估的鲁棒性和准确性。研究：MMEDPO：通过临床感知的多模态偏好优化对齐医学视觉-语言模型

主要作者与发表信息

本研究由来自北卡罗来纳大学教堂山分校（UNC Chapel-Hill）、布朗大学（Brown University）和华盛顿大学（University of Washington）的 Kangyu Zhu、Peng Xia、Yun Li、Hongtu Zhu、Sheng Wang 和 Huaxiu Yao 共同完成。其中，Kangyu Zhu 和 Peng Xia 为共同第一作者，研究工作在 Kangyu Zhu 于北卡罗来纳大学教堂山分校实习期间完成。该论文发表于《第42届国际机器学习大会论文集》（Proceedings of the 42nd International Conference on Machine Learning），并于2025年在加拿大温哥华的会议上宣读。

学术背景与研究目的

该研究属于医学人工智能与多模态大模型交叉的科学领域。近年来，大型视觉-语言模型（Large Vision-Language Models, LVLMs）的迅猛发展推动了其在医学领域的应用，随之诞生的医学大型视觉-语言模型（Medical LVLMs, Med-LVLMs）在疾病诊断、治疗方案规划等方面展现出巨大潜力。然而，这些模型始终面临事实准确性（Factuality）的严峻挑战，其根源在于模态失准（Modality Misalignment）问题——即模型在处理医学图像和文本时，往往会优先依赖训练过程中习得的文本知识，而忽略实际的视觉输入。这种偏差导致模型产生幻觉（Hallucinations），输出表面连贯但与医学图像信息相悖的文本，这在临床上是极其危险的。

为了解决这个问题，已有研究尝试采用偏好优化（Preference Optimization）技术来对齐（Align）医学图像与文本模态。但是，这些现有方法主要沿用了面向自然图像的通用偏好数据生成流程，严重忽略了所生成的偏好样本的临床相关性（Clinical Relevance）。这导致偏好数据中的“偏好”与“非偏好”样本过于容易区分，从而削弱了对齐训练的有效性。临床相关性主要体现在两个层面：其一，非偏好响应本身必须具有临床意义，否则模型可轻易识别并忽略；其二，模型需要特别关注图像中的局部病灶（Lesion）区域，纠正因忽视这些关键区域而产生的非偏好响应。正是基于这些问题，本研究提出了 MMEDPO，一种新颖的、考虑临床相关性的多模态医学偏好优化方法，旨在通过更有效的对齐来增强 Med-LVLMs 的事实准确性。

研究设计与详细工作流程

该研究设计了一套完整的 MMEDPO 框架，其核心工作流程包含三个紧密相连的步骤。

第一步：多模态偏好数据构建（Preference Data Curation）。 研究的目标是构建一个高质量、医学特异性的多模态偏好数据集。为此，他们设计了两条策略来产生“非偏好”数据。 策略一为“生成带有幻觉的医学响应”。研究者首先对目标 Med-LVLM 进行多次采样，生成一组可能包含幻觉的候选响应。然后，利用 GPT-4o 评估所有候选响应，选出与真实情况（Ground Truth）冲突最显著、幻觉程度最高的那个作为非偏好响应。如果所有候选响应的幻觉都不够明显，则直接使用 GPT-4o 根据真实答案生成一个包含事实性错误的全新响应，确保其含有不准确的影像解读、误导性描述或错误诊断。此策略下，真实答案被视为偏好响应。 策略二为“通过局部病灶区域加噪引发非偏好”。研究者首先利用一个医学视觉工具（如 MedKLIP）来预测每张医学图像中的疾病相关局部区域热力图。随后，他们采用一个精心设计的局部加噪过程，专门在这些检测到的病灶区域引入噪声，从而破坏模型对这些关键区域的视觉理解，生成一张带噪图像。在此策略下，原始图像与真实答案的组合被视为偏好数据，而带噪图像与同一真实答案的组合则被视为非偏好数据，因为模型在观察带噪图像后，其回答很可能因忽视病灶区域而变得不准确。最终，两种策略生成的偏好数据被合并，形成完整的偏好数据集。

第二步：量化临床相关性评分（Quantified Clinical Relevance Score）。 在获得偏好数据后，研究者为每个样本分配一个量化的临床相关性分数，以驱动更有效的优化，其核心假设是临床相关性越高的样本，对偏好优化的贡献越大。 对于策略一生成的纯文本偏好样本，研究者仅基于模型的内部医学知识来评估非偏好响应的临床相关性。为避免单一医学大语言模型（Med-LLM）评估带来的偏差，他们设计了一个多智能体协作系统（Multi-Agent Collaboration System）。该系统包含多个具有不同医学专长水平的 Med-LLMs，它们通过一个结构化的辩论过程来达成共识评分。具体而言，第一个 Med-LLM 先给出评分，后续的 Med-LLM 会依次查看之前的评分并决定是否同意；若同意则沿用，若不同意则生成新分。此过程循环进行，直到所有智能体达成一致或达到预设轮次上限。 对于策略二生成的视觉偏好样本，其临床相关性取决于病灶区域检测的准确性。研究者直接采用生成热力图的视觉工具在检测病灶时输出的置信度评分（Confidence Score）作为该样本的临床相关性评分。

第三步：临床感知的偏好微调（Clinical-aware Preference Fine-tuning）。 在这一步，上一步得到的临床相关性评分被转化为样本权重，整合进偏好优化过程中。为防止因整体损失值过小导致模型欠拟合，研究首先对所有评分进行归一化处理，将其映射到一个固定的数值范围。最后，使用加权直接偏好优化（Weighted Direct Preference Optimization, Weighted DPO）损失函数，对 Med-LVLM 进行微调，使模型更关注那些临床相关性高的偏好样本。

为验证 MMEDPO 的有效性，研究者在两类任务共四个公开医学数据集上进行了严格实验：医学视觉问答（Med-VQA）任务使用 VQA-RAD 和 SLAKE 数据集，报告生成（Report Generation）任务使用 IU-Xray 和 MIMIC-CXR 数据集。实验以基于 LLaVA-Med-1.5 7B 模型的监督微调（Supervised Fine-Tuning, SFT）模型为基线，并与多种先进的偏好优化方法（如 DPO、Self-Rewarding、STLLaVA-Med、POVID、SIMA、FISAO）进行了全面比较。评估指标涵盖了准确率（Accuracy）、召回率（Recall）、BLEU、ROUGE-L 和 METEOR 等。

主要研究结果

实验结果显示，MMEDPO 在多个维度上都显著提升了 Med-LVLMs 的表现，并超越了所有基线方法。

在与基线方法的直接对比中，MMEDPO 展现了卓越的性能。在 Med-VQA 任务上，MMEDPO 在开放式和封闭式问题上的平均得分，比最好的基线方法分别提升了15.8%和10.3%。在报告生成任务上，其表现更为突出，在 IU-Xray 和 MIMIC-CXR 数据集上的指标，分别比最佳基线高出61.9%和26.0%。当在所有模型上都先应用监督微调再进行偏好优化时，MMEDPO 依然在所有四个数据集上持续超越其他方法，与单独使用 SFT 相比，平均性能提升了14.2%。这有力地证明了 MMEDPO 的兼容性和稳健性。

消融实验（Ablation Study）进一步揭示了各组成部分的贡献。首先，在两种数据构建策略中，“对局部病灶区域加噪”在报告生成这类开放式任务上效果更显著，而两种策略的结合在所有任务上都取得了最佳表现，证明它们能优势互补。其次，引入“临床相关性评分”作为权重，在两种数据策略下均一致地提升了性能，在报告生成任务上平均带来18.5%的显著增益，证实了样本加权的重要性。再次，多智能体协作系统评估出的临床相关性得分，相比单一 Med-LLM 得分，能带来平均3.6%的性能提升，表明减少评估偏差的积极作用。最后，在加噪方案上，仅在病灶区域进行“局部加噪”的效果，系统性优于在整幅图像上添加“全局噪声”，验证了引导模型关注关键区域的正确性。此外，兼容性分析表明，当 MMEDPO 应用于以更强大的 LLaMA-3 为语言基座的 LLaVA-Med++ 模型时，依然能带来全面且稳定的性能提升，证明了该方法的强泛化能力。

定性分析的结果也印证了量化指标的提升。模型的注意力图（Attention Map）可视化显示，经过 MMEDPO 微调的模型，其注意力能更集中地聚焦于图像的病灶区域，从而提取更充分的视觉信息，减少幻觉。案例研究表明，MMEDPO 生成的响应在准确描述病情（如准确捕捉心脏轮廓和肋骨骨折）和提供有临床意义的解释方面，都优于原始模型和其他基线方法。

结论与价值

本研究的主要结论是，MMEDPO 作为一种新颖的临床感知