本文档属于类型a，即单一原创研究的学术报告。以下是基于该文档的详细报告。
作者及发表信息
本研究由来自微软亚洲研究院（Microsoft Research Asia）的Yuexi Du、Jinglu Wang、Shujie Liu、Yan Lu，以及耶鲁大学（Yale University）生物医学工程系与放射学及生物医学影像系的Nicha C. Dvornek共同完成。其中Yuexi Du和Jinglu Wang分别为第一作者与通讯作者，此项工作于Yuexi Du在微软亚洲研究院实习期间完成。该论文已被2026年国际学习表征会议（ICLR 2026）接收并发表。
学术背景与研究目标
这项研究属于人工智能与临床医学的交叉领域，具体聚焦于多模态医学视觉推理。当前，大型视觉语言模型（VLM）在医学图像理解和诊断视觉问答（VQA）等任务中展现了强大的能力。然而，绝大多数模型采用端到端的“黑箱”操作模式，直接根据输入的医学图像和问题生成答案，这与临床医生基于证据、分阶段进行诊断的工作流程存在根本性偏差。这种单次推理的设计极易诱发模型走“捷径学习”（shortcut learning）和产生“幻觉”（hallucination），特别是在数据分布发生变化时，由于缺乏对细粒度、病例相关的视觉证据的定位和验证，其推理结果在临床上往往不可靠且难以问责。
为了解决这一问题，部分研究者尝试将视觉定位（visual grounding）功能整合进视觉语言模型中，但通常仅将其作为一个孤立的感知输出，并未将定位到的感兴趣区域（ROI）作为证据重新反馈至推理过程。一些通用领域的工作虽引入了图像操作（如缩放裁剪）来提供ROI，但它们将感知与推理耦合在单一通才模型内，这在医学数据稀缺的情况下容易因初期定位错误而放大误差，导致“自信的幻觉”。本研究的目标正是克服这些局限，设计一个能够遵循临床工作流程，将解耦的专家模型与明确的可视化证据相结合的智能体框架，以显著提升医学多模态推理的准确性和临床可问责性（clinical accountability）。
详细工作流程与研究方法
为了达成上述目标，研究团队提出了一个名为CARE（Clinical Accountability in Multi-modal MEdical Reasoning with an Evidence-Grounded Agentic Framework，基于证据的智能体框架用于多模态医学推理的临床可问责性）的框架。该框架的核心创新在于将复杂的医学推理任务分解为三个由独立专家模型执行的子任务，并由一个可选的动态协调器进行调度。
1. 子任务分解与专家模型构建 整个CARE框架的推理流程模仿了临床医生的诊断路径，明确分为三个阶段： * 第一阶段：医学实体提议（Medical Entity Proposal）。 当输入一张医学图像和一个用户提问后，一个经过特定微调的紧凑型视觉语言模型（VLM）首先被调用。它的任务是像临床医生一样，根据问题提出图像中最相关的候选医学实体，例如特定的解剖结构（如“左肺下叶”）或异常发现（如“肺结节”）。由于该任务没有现成的公开数据集，研究者利用SA-Med-20M数据集，通过随机采样其中的分割掩码（segmentation mask）和医学实体，并由GPT-4o生成对应的提问，从而合成了一个包含一万对训练数据的（图像，问题，实体）配对数据集。为了优化该模型，研究团队采用了一种基于可验证奖励的强化学习（RLVR）方法，其中设计的“软相似度奖励”（soft similarity reward）利用一个小型语言模型来计算模型提议实体与真实实体的语义相似度，避免了传统二元奖励可能导致的零梯度问题，并有助于弥合合成数据与真实问题的领域差距。 * 第二阶段：实体指代分割（Entity Referring Segmentation）。 基于第一阶段提议的实体名称，一个定制的指代分割模型会被激活。该模型以预训练的医学分割模型SAM-Med-2D为基础，并通过一个冻结的轻量级生物医学文本编码器（BioBERT）和嵌入投影层进行增强，使其能够根据文本提示（即提议的实体）在图像上执行指代分割，从而生成像素级的感兴趣区域（ROI）掩码作为明确的视觉证据。同时，模型还会计算一个置信度分数，用于在下游任务中过滤低质量的分割结果。该模型的参数量（约6亿）远小于大型视觉语言模型。 * 第三阶段：证据引导的视觉问答（Evidence-Grounded VQA）。 最后一个被称为EG-VQA的VLM模型，其输入不仅是原始医学图像和用户问题，还包括上一阶段生成并筛选后的ROI证据。为了让模型更好地利用证据，研究者设计了三种符合临床实践的视觉证据视图：（i）放大视图（zoom-in），围绕ROI裁剪出更高分辨率的局部细节图像；（ii）掩码视图（mask），作为独立的信号输入，起到注意力放大器的先验作用；（iii）全局指示器（global indicator），当任务无需局部证据（如判断影像模态）或分割不可用时，提供一个全一掩码。EG-VQA模型经过有监督微调（SFT）和强化学习微调（RFT）的两阶段训练，能根据不同类型的视觉线索进行更准确的证据支持型决策。
2. 智能体控制与两种运作模式 为了协调上述专家模型，CARE提供了两种运作模式： * 静态工作流模式（CARE-Flow）： 在此模式下，系统按顺序执行上述三个阶段。由于缺乏协调器选择最佳视觉证据，它会调用EG-VQA模型三次，分别使用三种证据视图（放大、掩码、全局），最终通过简单多数投票决定答案。 * 动态协调模式（CARE-Coord）： 此模式引入一个强大的VLM充当动态协调器，实验中最优选择为GPT-5。该协调器负责规划工具（即各专家模型）的调用顺序，为每个问题选择最合适的证据视图，甚至对于全局性问题直接跳过定位步骤以提升效率。更为关键的是，它还能执行“迭代式思维链-答案审查”（iterative CoT-answer review），即检查专家EG-VQA模型生成的推理过程与最终答案是否一致。若发现不一致，协调器可重新运行专家模型或进行修正，从而有效抑制幻觉。该审查机制仅作为验证和规划，而非替代专家模型的决策。
3. 实验评估设计 研究团队在四个标准的医学VQA基准数据集上对CARE进行了全面评估，包括全模态医学VQA（OmniMedVQA）、放射学VQA（VQA-RAD）、语义标记知识增强VQA（SLAKE）和2019年医学VQA（VQA-Med-2019），这些数据集涵盖了超过十种影像模态和多个器官。评估时，开放式问题的准确性由GPT-4o裁判。
主要实验结果与分析
实验结果表明，模仿临床工作流程的CARE框架在准确性和参数效率上均展现出显著优势。 * 首先，在整体性能上，总参数量仅为100亿的静态工作流模型CARE-Flow-b在四个基准上的平均准确率达到了74.91%，不仅超越了同量级的顶尖模型，甚至比经过了大量预训练的320亿参数模型Lingshu-32B（72.29%）高出2.6个百分点。这直接回答了RQ1，证明分阶段、证据引导的推理范式优于单次黑箱推理。当切换到动态智能体模式后，CARE-Coord-b的性能得到进一步提升，平均准确率达到77.54%，相比Lingshu-32B的优势扩大到了5.2%。 * 其次，关于视觉证据的作用（RQ2），消融实验显示，不使用任何视觉线索的基线EG-VQA模型整体准确率仅为72.4%，而在训练和推理中引入视觉线索后，准确率逐步提升，当使用全部三种证据视图时，准确率提升至74.9%，证明了显式ROI证据对提升推理准确性的关键作用。其中，“放大视图”在单独评估中表现最佳。 * 第三，关于协调器的作用（RQ3），消融研究表明，使用GPT-5作为协调器并激活迭代审查功能后，模型性能获得了最大的提升。值得注意的是，协调器的审查虽会偶尔错误修改原本正确的答案，但其成功纠正错误答案的比例更高，整体呈显著正向贡献，尤其是在分布外（OOD）数据上的纠正率更高，显示出更强的泛化能力。 * 第四，实体提议和分割模型的质量对下游任务有直接影响（RQ4）。使用经过RLVR与软相似度奖励训练的实体提议模型，其提议准确率（85.2%）和最终VQA性能均显著优于使用二进制奖励或贪婪匹配的版本。同时，定制的指代分割模型在MECO-G基准上取得了81.9%的Dice分数，优于同数据集上的其他分割模型；若将其替换为BioMedParse等模型，下游VQA性能会下降3.4个百分点，验证了高质量专用分割模型的重要性。
研究结论与价值
本研究提出的CARE框架，通过将医学视觉推理过程显式建模为“发现实体-精确定位-证据推理”三阶段，并引入动态协调器进行规划与审查，成功地构建了一个更贴近临床实践、更具可问责性的医学AI系统。其科学价值在于证明了将专家解耦与证据前馈相结合的智能体框架，能够在有限的微调数据和计算资源下，超越参数规模大得多的通才模型，为构建可解释、可信赖的医学AI提供了新的设计范式。其应用价值在于，该方法不仅提高了诊断准确性，还通过提供像素级的ROI证据和可审查的推理链条，使AI的决策过程对临床医生更加透明，有望减少医疗AI中的“捷径学习”和“幻觉”问题，从而在真实临床应用场景中辅助医生进行更可靠的决策。
研究亮点
本研究的亮点主要体现在三个方面： 1. 方法论的创新性：首次在医学视觉推理领域提出一个完整的、证据驱动的智能体框架，将任务解耦给专门的提议、分割和推理模型，打破了单一通才模型的局限。 2. 工作流的临床仿真性：其“提议-定位-推理”的工作流程高度模拟临床医生的诊断路径，并且通过像素级分割掩码和缩放裁剪等视觉反馈，使得证据链真实可循，极大提升了可问责性。 3. 卓越的经验性能与效率：CARE以相对较小的模型规模，在多个标准医学VQA基准上取得了领先的性能，展示了极高的参数效率，有力证明了其架构设计的优越性。