本研究由 Yuxiang Lai（埃默里大学）、Jike Zhong（南加州大学）、Ming Li（东京大学）等多位研究者共同完成，通讯作者为 Xiaofeng Yang（埃默里大学）。该论文发表于 IEEE Transactions on Medical Imaging 期刊第45卷第6期，于2026年6月正式刊出。研究团队提出了一种名为 Med-R1 的新型框架，旨在利用强化学习（Reinforcement Learning, RL）技术提升视觉语言模型（Vision-Language Models, VLMs）在医学影像推理中的泛化能力与可靠性。
视觉语言模型在自然图像理解领域已取得显著进展，但在医学影像应用中仍面临严峻挑战。医学视觉问答（Visual Question Answering, VQA）任务要求模型具备精确的临床理解能力和逻辑连贯的答案生成能力，然而医学数据的复杂性以及高质量专家标注的稀缺性限制了传统方法的有效性。当前医学视觉语言模型主要采用监督微调（Supervised Fine-Tuning, SFT）策略，该策略存在两个根本性缺陷：第一，SFT 本质上会使模型偏向于记忆任务特定的“捷径”，而非学习可泛化的推理能力，导致模型在训练数据上出现过拟合；第二，高质量的思维链（Chain-of-Thought, CoT）标注在医学领域极为稀缺且获取成本高昂，需要经验丰富的医学专家进行精细标注以确保诊断有效性和临床一致性。这使得现有基于 SFT 的医学视觉语言模型缺乏可靠的推理能力，常产生“黑箱”预测，难以提供可追溯的推理过程或在域外任务中保持性能。
针对上述困境，研究团队提出了 Med-R1 框架。该研究旨在回答一个核心问题：如何使视觉语言模型在跨医学领域表现出色，同时确保其行为可靠且具备上下文感知能力？研究目标是通过强化学习的奖励引导机制，突破静态标注的限制，从而提升模型在多种医学影像模态和临床任务中的泛化能力与可解释性。
Med-R1 采用群体相对策略优化（Group Relative Policy Optimization, GRPO）作为核心训练算法。GRPO 是近端策略优化（Proximal Policy Optimization, PPO）的轻量化替代方案，其核心优势在于两点：使用基于群体的优势估计替代价值函数，以及采用基于规则的奖励信号替代需要学习的奖励模型。这使得 GRPO 的资源与计算效率比 PPO 提升约50%。
奖励设计包含两类信号：格式奖励验证模型输出是否包含结构化的 <think> 和 <answer> 标签；准确率奖励通过规则检查模型预测与实际答案是否匹配。两种奖励得分均为二元值（0或1）。训练时，GRPO 策略为每个样本生成四个候选回答，采样温度设为0.7，策略更新受到与参考模型的KL散度约束以防止过度偏离。
研究团队基于 OmniMedVQA 基准数据集开展实验，该数据集包含82059张图像和88996个视觉问答对，涵盖八种医学影像模态（CT、MRI、X射线、超声、皮肤镜、眼底照相、光学相干断层扫描OCT、显微镜图像）和五类临床任务（解剖识别、疾病诊断、病变分级、模态识别、其他生物学属性）。数据集按8：2比例划分为训练集与测试集。模型以 Qwen2-VL-2B-Instruct 为基础初始化，采用全参数微调，在双 H100 GPU 服务器上使用混合精度 bfloat16 训练一个轮次。
实验评估框架设计精妙，聚焦两大泛化场景：跨模态泛化与跨任务泛化。跨模态泛化中，模型仅在单一模态上训练，然后在其余七种模态上测试；跨任务泛化采用类似策略，模型在一类任务上训练后评估其他四类任务。研究还对比了三种推理策略变体：传统“先思考后回答”的 Think 模式、直接输出答案的 No-Think 模式，以及研究团队创新提出的“先回答后解释”的 Think-After 模式。
在跨模态泛化能力上，Med-R1 取得了令人瞩目的成果。该模型以仅2B参数量实现了69.91%的平均准确率，相较于基础模型 Qwen2-VL-2B 提升了29.94%，甚至超越了拥有36倍参数量的 Qwen2-VL-72B 模型（1.86%的领先优势）。详细数据显示，在 MRI 模态上 Med-R1 达到71.67%，高于 Qwen2-VL-72B 的69.39%；在皮肤镜领域优势更为显著，达到72.33%对65.31%。与医学专用模型 Med-Flamingo 的30.38%平均准确率相比，Med-R1 更是高出39.53个百分点。相较于 SFT 微调的 Qwen2-VL-2B，GRPO 训练带来了15.84%的绝对提升。
跨任务泛化评估进一步印证了 Med-R1 的优越性。模型实现了74.64%的总体准确率，较基础模型提升32.06%，超越 Qwen2-VL-72B 并比 SFT 基线高出11.25%。值得关注的是，以“疾病诊断”数据训练的模型展现出最强的跨任务迁移能力（81.64%），而以“病变分级”训练的模型虽在域内表现优异（86.24%），但迁移性相对较低。
研究团队对推理机制的研究得出了关键发现：No-Think 模式在跨模态场景下始终优于 Think 模式，这挑战了“思考链越长越好”的普遍认知。分析表明，并无监督的自由式推理在领域迁移时可能产生幻觉，反而损害性能。然而，No-Think 模式牺牲了医学应用至关重要的可解释性。为此提出的 Think-After 策略成功实现了精度与可解释性的平衡：通过在预测答案后再生成推理解释，既保持了相对较高的准确率，又为临床审查提供了可追溯的推理依据。读者研究证实，Think-After 模型在事实正确性和推理-答案一致性方面均获得最高评分。
本研究最核心的价值在于系统性地验证了强化学习在医学视觉语言模型中的有效性，并为“推理质量胜于数量”这一重要观点提供了有力证据。Med-R1 证明了即便在缺乏高质量思维链标注的严苛条件下，强化学习仍能驱动模型习得可泛化的推理能力，这为临床领域部署高效、可靠的多模态人工智能系统开辟了新路径。研究团队提出的 Think-After 推理协议为平衡模型可解释性与性能提供了创新解决方案，在医学人工智能要求透明度和可靠性的刚性需求下具有重要实践意义。
研究的重要发现可归纳为三点：其一，基于强化学习的适配策略在参数效率和泛化能力上均显著优于传统监督微调；其二，医学视觉问答中，显式推理的存在并不保证性能提升，其效果取决于推理质量、生成时机及其与目标领域的对齐程度；其三，通过解耦答案生成与推理过程，Think-After 策略可实现精度与可解释性的最优权衡。这些发现为医学人工智能领域的推理范式设计提供了新的理论基础和技术方向。