本文献是一篇发表于 Journal of Medical Internet Research 的范围综述（scoping review），由首都医科大学护理学院的赵雨涵（Yuhan Zhao）、苗一坤（Yiqun Miao）、郭蓉蓉（Rongrong Guo）、王慧颖（Huiying Wang）以及罗远（Yuan Luo）、吴瑛（Ying Wu）等学者共同完成，其中赵雨涵与苗一坤为共同第一作者，通讯作者为吴瑛。该综述注册号为 OSF Registries mtf5x，文献标识为 J Med Internet Res 2026;28:e90046，DOI 为 10.2196/90046。
近年来，大语言模型（large language models, LLMs）在临床决策支持、患者教育、文档生成及行政管理等医疗场景中的应用迅速扩展。然而，模型产生事实错误、内部不一致或证据不足的陈述这一固有问题，严重制约了其在高风险医疗环境中的部署。为缓解这一问题，研究者广泛采用推理时检索增强生成（retrieval-augmented generation, RAG），通过在推理阶段从外部知识源检索证据并条件化生成过程来提升事实准确性。其中既包括基于文本的 RAG，也包括新兴的图结构检索增强生成（graph-structured RAG, GraphRAG）。尽管此类系统数量激增，其评估方法却高度异质：检索层评估、证据链接验证、安全评估及评估设置类别的操作化定义各不一致，导致跨研究比较困难，也难以判断系统的临床就绪程度。在此背景下，本综述旨在系统绘制医疗保健领域推理时 RAG 与 GraphRAG 系统的评估方法图谱，刻画评估构念在各系统层次和评估设置类别中的定义、操作化与报告方式，并识别方法学空白。
本综述遵循 PRISMA-ScR 指南，检索报告遵循 PRISMA-S 扩展。检索于 2026 年 5 月 14 日完成，覆盖 PubMed（MEDLINE）、Web of Science 核心合集、IEEE Xplore、ACM Digital Library、arXiv 和 medRxiv，时间限定为 2024 年 1 月 1 日至 2026 年 5 月 14 日，语言限定为英语。通过向后及向前引文追踪补充识别符合条件的研究。纳入标准为：描述了医疗保健相关且实现推理时 RAG 的 LLM 系统，并至少报告一项评估组成。排除标准包括仅训练时知识注入而无推理时检索条件化、只有检索而无生成输出、无实证评估、叙述性综述及无法获取全文的记录。两位评审者独立进行标题/摘要及全文筛选，分歧由第三方裁定。数据提取采用预先制定的标准化表格，涵盖研究特征、系统设计、检索层评估、证据链接、安全性及 GraphRAG 专项评估以及治理相关报告要素，由一位评审者提取、另一位独立核对，并以共识或第三方裁决解决分歧。为支持一致编码，作者事先确立了操作化定义框架：检索层评估指独立于最终生成输出对检索证据质量的显式评估；接地与忠实度（grounding and faithfulness）评估指生成答案是否受检索证据支持且不引入超出证据的额外内容；引文与来源正确性评估要求验证被引来源是否真实存在、准确且支持对应答案内容；正式安全相关评估指将安全、伤害或不安全建议等作为正式评估维度。GraphRAG 编码采用最低标准，即推理时显式利用图结构检索、组织或组装证据。由于预期研究异质性高，未进行定量合并分析，而以描述性统计和叙述性综合呈现结果，并构建证据-空白地图（evidence-and-gap map）交叉分类评估设置类别与关键评估域。
共 157 项研究符合纳入标准。临床问答是最常见的应用任务（89/157, 56.7%），其次为临床决策支持（70/157, 44.6%）、患者或照护者教育（27/157, 17.2%）及摘要或报告生成（24/157, 15.3%）。任务类别非互斥，部分系统同时处理多个下游任务。
就评估设置而言，140 项（89.2%）研究仅报告了离线评估，未涉及工作流试点、前瞻性研究或真实世界部署。模拟病例评估报告于 37 项（23.6%）研究。仅 17 项（10.8%）研究至少报告一项工作流邻近、前瞻性或部署级评估，其中工作流试点或用户研究 17 项（10.8%）、前瞻性临床研究 2 项（1.3%）、真实世界部署或部署后监测 3 项（1.9%）。知识来源方面，119 项（75.8%）研究使用公共或公共混合知识源，27 项（17.2%）使用私有机构知识源，7 项（4.5%）以图结构知识源为主，21 项（13.4%）的检索语料明确为电子健康记录（EHR）相关。
独立检索层评估仅在 47 项（29.9%）研究中报告。在其余 110 项研究中，评估仅基于最终生成输出或定性示例，未将检索作为可分离的评估层次。即使在报告检索层评估的 47 项研究中，指标选择也高度异质：常用的指标族包括精确率相关指标（23 项，48.9%）、召回率指标（32 项，68.1%）、平均倒数排名（8 项，17.0%）和归一化折损累计增益（6 项，12.8%）。部分研究使用标准的 IR 指标，另一些则使用上下文精确率、上下文召回率或对检索证据的结构化评估。由于多数研究仅报告端到端性能，检索失败、证据选择失败与生成失败之间的归因无法进行，这严重削弱了对 RAG 管线的比较性解释能力。
接地与忠实度评估报告于 41 项（26.1%）研究，操作化方式差异极大。引文与来源正确性评估仅报告于 12 项（7.6%）研究，细粒度证据验证报告于 22 项（14.0%）研究，冲突或矛盾处理评估报告于 9 项（5.7%）研究。验证粒度方面，答案级验证报告于 20 项（12.7%）研究，陈述级验证报告于 17 项（10.8%）研究，引文级或来源级验证报告于 21 项（13.4%）研究。116 项研究（73.9%）未报告任何证据支持验证。这表明绝大多数研究未能在足够细的粒度上验证生成内容是否真正受检索证据支持。引文存在或引文合理性并不等同于引文正确性——表面正确的引文仍可能反映事后合理化（post hoc rationalization）而非真实的证据使用。
人工评估报告于 94 项（59.9%）研究，但其中仅 26 项（27.7%）报告了评估者间信度（interrater reliability, IRR）。自动指标报告于 117 项（74.5%）研究。LLM-as-judge 评估用于 41 项（26.1%）研究，但其中仅 15 项（36.6%）报告了偏倚控制措施。正式安全相关评估报告于 45 项（28.7%）研究，操作化方式涵盖显式安全评分、临床风险评分、药物安全终点、有害内容阻断、自杀风险分层、分诊伤害指数及幻觉相关风险评估等。在 45 项有正式安全评估的研究中，22 项（48.9%）将安全维度嵌入专家或 LLM 评估量表，10 项（22.2%）采用临床管理安全终点，6 项（13.3%）将幻觉或证据错位框架为安全相关失败模式，5 项（11.1%）评估有害内容或危机防护措施，2 项（4.4%）涉及公共卫生事实核查与错误信息评估。
27 项研究（17.2%）满足预设的 GraphRAG 最低标准。所有 27 项均报告了端到端输出评估，但仅 11 项（40.7%）报告了 GraphRAG 中间产物评估（如检索到的节点、路径、子图或图派生摘要），仅 6 项（22.2%）报告了图构建评估（如节点、边、关系或三元组提取质量）。鉴于满足 GraphRAG 标准的研究数量有限，这些发现应视为探索性的，但当前证据表明，图结构系统的评估主要依赖端到端结果，其宣称的可追溯性和可解释性优势缺乏中间产物层面的实证验证。
证据-空白地图显示，评估证据高度集中于离线场景，在细粒度证据验证、矛盾处理、安全评估、IRR 报告、LLM-as-judge 偏倚控制、GraphRAG 构建评估及中间产物评估等工作流邻近或部署级设置中覆盖极为稀疏。关于治理，49 项研究（31.2%）使用了真实患者数据，其中仅 33 项（67.3%）报告了去标识程序，仅 23 项（46.9%）报告了机构审查委员会批准、豁免或弃权。
本综述的结论表明，医疗保健领域 RAG 与 GraphRAG 系统的评估实践扩展迅速，但报告与操作定义在各评估层之间仍高度不一致。现有证据主要集中于离线评估，在检索质量、细粒度证据链接、安全性、LLM-as-judge 保障、GraphRAG 构建质量及中间产物评估的工作流邻近、前瞻性或部署级评估方面存在显著空白。作者据此提出了一套基于综合证据的评估考量（synthesis-informed evaluation considerations），按预期评估设置（从离线回溯评估到真实世界部署监测）分层提出具体建议，强调评估强度应与使用情境的风险和任务要求相匹配。本研究的主要贡献在于：不同于以往宽泛综述健康医疗 LLM 应用或通用 NLP 基准的文献，该综述首次系统绘制了 RAG 与 GraphRAG 系统在检索、证据链接、安全及评估设置等层次上的评估方法图谱，为将来研究的透明化、层次化、安全导向和临床情境化评估提供了操作化参考框架。
本综述的亮点包括：构建了检索层、接地与忠实度、引文与来源正确性、安全评估和 GraphRAG 专项评估的多层次编码框架，明确区分了接地（grounding）、忠实度（faithfulness）、事实性（factuality）和引文正确性（citation correctness）等易混淆构念的边界；以证据-空白地图直观呈现了评估方法在不同设置类别中的分布不均衡；提出了面向不同评估设置的实践导向考量。局限方面，综述仅涵盖 2024 年之后的英语文献，可能遗漏早期基础工作；未进行正式质量评价；分类依赖报告完整性；GraphRAG 相关发现因样本量有限而应谨慎解释。