FIRE：基于迭代检索与验证的事实核查框架——一项提升效率与性能的新型研究

一、 研究作者、机构与发表信息

本研究由来自穆罕默德·本·扎耶德人工智能大学（MBZUAI）的Zhuohan Xie、Rui Xing、Yuxia Wang、Jiahui Geng、Hasan Iqbal、Dhruv Sahnan、Iryna Gurevych以及墨尔本大学（The University of Melbourne）的Rui Xing和MBZUAI的Preslav Nakov共同完成。论文《FIRE : Fact-checking with Iterative Retrieval and Verification》发表于计算语言学领域顶级会议“North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL) 2025”的会议录中，页码为2901–2914，会议举行时间为2025年4月29日至5月4日。

二、 学术背景与研究目标

本研究属于自然语言处理（NLP）领域，具体聚焦于大型语言模型（LLM）时代下的自动事实核查（Automatic Fact-Checking）任务。随着LLM在文本生成和理解方面展现出卓越能力，其应用日益广泛，但一个关键缺陷是它们可能生成看似自信实则错误的事实性内容（即“幻觉”问题）。因此，开发能够自动、高效、准确地验证文本事实性的系统至关重要。

当前主流的事实核查方法通常遵循一个固定流程：首先，将长文本分解为多个原子声明（Atomic Claims，即可独立验证的最小事实单元）；然后，为每个声明生成固定数量的搜索查询，从外部知识源（如网络）检索证据；最后，利用LLM基于检索到的证据进行验证。然而，这种方法存在两大效率瓶颈：1. 未能充分利用LLM的内部参数化知识：对于常识或广为人知的事实，LLM本身可能已具备足够知识进行判断，无需额外检索，但现有方法仍会强制进行搜索，造成资源浪费。2. 不符合人类推理过程：人类在进行事实核查时，通常采取迭代式、动态调整的策略：先基于已有知识形成初步判断，若信心不足则进行搜索，根据搜索结果调整判断或提出更精准的后续查询。现有“先生成所有查询，再统一验证”的静态流程无法模拟这一动态过程。

为了应对这些挑战，本研究提出了名为FIRE（Fact-checking with Iterative Retrieval and Verification）的新型框架。其核心目标是：设计一个能够像人类一样，将内部知识利用与外部证据检索动态、迭代地结合起来的智能事实核查代理（Agent），旨在实现与现有方法相当甚至更优的核查性能，同时大幅降低LLM调用成本和网络搜索成本，从而为大规模事实核查应用提供可行方案。

三、 研究流程与方法详解

FIRE框架的核心是一个基于LLM的智能代理，其工作流程是一个迭代决策循环，主要包含三个关键组件，流程如下图所示（对应论文图1右侧）： 1. 最终答案或下一个搜索查询（Final Answer or Next Search Query）：这是FIRE的核心决策模块。给定一个待核查的原子声明 c、当前积累的证据集 e（初始为空）以及LLM的内部知识 k，该模块的任务是让LLM进行逐步推理（Chain-of-Thought），并基于当前对声明真实性的置信度做出决策。决策结果有两种： * 输出最终答案：如果LLM基于现有知识（内部知识k和/或已检索证据e）对声明的真伪有足够高的信心，则直接输出最终判断（“真”或“假”）。 * 生成下一个搜索查询：如果LLM认为现有信息不足以做出自信判断，则生成一个新的、旨在获取缺失或澄清性信息的搜索查询 q。 这一决策通过一个统一的提示词（Prompt）实现，该提示词引导LLM进行推理并输出结构化的JSON对象（包含final_answer或search_query字段）。这种设计将验证和查询生成合二为一，实现了动态的“思考-行动”循环。 2. 网络搜索（Web Search）：当决策模块输出一个搜索查询 q 时，框架调用外部搜索引擎API（本研究使用SerpAPI访问Google搜索）进行检索。返回的搜索结果片段被整理为新的证据文本 e，并添加到当前证据集 e 中，形成更新后的证据集 e'，供下一轮迭代使用。 3. 最终验证（Final Verification）：为了防止代理陷入无限循环或对极其困难的声明无法做出判断，框架设置了一个最大检索步数上限 N。一旦迭代次数达到 N，无论置信度如何，系统将强制进入最终验证阶段。此时，LLM会基于所有已检索到的证据 e 和内部知识 k，通过一个专门的最终验证提示词，输出最终的事实性判断。

研究对象的处理与实验设置： * 数据集：研究使用了四个经过处理的公开事实核查基准数据集来评估FIRE：FactCheck-Bench（开发集）、Factool-QA、FELM-WK和BingCheck。这些数据集均被处理为二元分类（真/假）任务，总计包含超过1000个需要外部世界知识验证的原子声明。具体样本量见表1。 * 对比框架：为了全面评估FIRE，研究选取了多个先进的基线框架进行对比，包括：Factool（工具增强框架）、FactCheck-GPT（细粒度评估基准方法）、SAFE（迭代搜索后验证框架）。此外，还设置了Random（随机猜测）、Always True/False（总是预测真/假）等简单基线，以及FIRE的两个消融版本：FIRE (no reason)（禁止LLM输出推理过程）和FIRE (no search)（禁止使用搜索工具）。 * 语言模型：实验涵盖了多种前沿的专有和开源LLM，以检验方法的普适性，包括OpenAI的GPT-4o、GPT-4o-mini、o1-preview、o1-mini；Anthropic的Claude-3 Haiku、Claude-3 Opus、Claude-3.5 Sonnet；以及开源的Llama 3.1-Inst 8B和Mistral-Inst 7B。 * 评估指标：研究从性能和成本两个维度进行评估。性能方面，报告了正类（真）和负类（假）的精确率（Precision）、召回率（Recall）和F1分数。成本方面，详细计算了LLM API调用的经济成本（美元）、搜索引擎查询成本以及整个事实核查流程的总耗时。 * 优化策略探索：研究还进行了深入的初步研究，以优化FIRE框架： * 防止重复搜索查询：针对LLM可能生成重复查询的问题，探索了提前终止（当连续查询或检索结果高度相似时停止迭代）和多样性提示（鼓励生成多样化查询）两种策略。实验发现，基于Sentence-BERT相似度（阈值0.9）的提前终止策略（窗口大小为2）能有效降低成本且不损害性能。 * 防止验证过度自信：针对LLM可能过于严格或自信导致错误的问题，探索了三种策略：至少一次/两次检索（强制要求至少进行1或2次搜索）、包容性提示（提示模型更加开放、避免过度自信）。结果表明，这些策略要么增加了不必要的搜索成本，要么降低了性能，因此最终采用了默认设置，即依赖LLM自身的校准和推理能力来决定是否需要搜索。

四、 主要研究结果与分析

1. 不同语言模型在FIRE框架下的表现（表3）：在FactCheck-Bench开发集上的测试表明，专有模型（如GPT-4o、Claude-3.5 Sonnet、o1-preview）整体优于开源模型。值得注意的是，尽管GPT-4o-mini性能略低于顶级模型，但其成本（LLM+搜索总计约0.63美元）远低于o1-preview（约146.46美元），性价比极高。这为大规模部署提供了经济可行的选择。

2. 与现有先进框架的对比（表6和表7）：在Factool-QA、FELM-WK和BingCheck三个测试集上的综合对比显示：

   • 性能：FIRE（使用GPT-4o）与表现最好的基线框架（如SAFE）性能相当，在18项评估指标（3个数据集 x 2个类别 x 3个指标）中的7项取得最优，略优于其他框架。所有先进框架（Factool, FactCheck-GPT, SAFE, FIRE）的性能差距不大（约0.2 F1分以内），表明它们都能有效处理大多数声明，但在处理复杂、边缘案例时均面临挑战。
   • 成本效率——核心优势：FIRE在成本控制上展现出革命性优势。当使用GPT-4o-mini时，FIRE将LLM计算成本平均降低了7.6倍，将搜索成本平均降低了16.5倍。总时间成本也显著低于其他框架。例如，在验证总计559个声明时，FIRE (GPT-4o-mini) 的总LLM成本仅为0.14美元，搜索成本0.20美元，总时间1.25小时；而SAFE (GPT-4o-mini) 的对应成本分别为0.43美元、2.93美元和4.25小时。这种效率提升主要归功于FIRE的迭代决策机制：对于大量简单声明，LLM能直接利用内部知识做出判断，无需搜索；仅对不确定性高的声明才触发检索。

3. 消融实验与深入分析：

   • 推理过程的重要性（图2, 3, 4）：对比FIRE和FIRE (no reason) 发现，允许LLM进行逐步推理（CoT）能显著提升其判断信心。以GPT-4o-mini在BingCheck数据集为例，在“有推理”设置下，大多数判断（107例）在零次搜索后即做出；而在“无推理”设置下，零搜索案例大幅减少（25例），更多案例需要进行至少一次搜索。这表明显式的推理过程增强了模型对自身知识的置信度，从而减少了不必要的搜索。GPT-4o也表现出类似趋势，但影响不如GPT-4o-mini明显。
   • 搜索的必要性：FIRE (no search) 的性能相比完整FIRE有所下降，尤其是在Factool-QA数据集上，下降更为明显。这证实了外部证据检索对于验证LLM内部知识不足的声明（特别是涉及罕见知识时）是必要的。同时，不同数据集对搜索的依赖程度不同，反映了数据集中声明知识稀有性的差异。

4. 错误分析（表8）：作者对135个错误案例进行了人工分析，归纳出四大类、九小类错误原因：

   • 数据集问题：包括“非可核查声明”（如仅为人名）、“模糊或主观声明”以及“错误的黄金标签”。这揭示了现有基准数据集中存在的质量问题。
   • 知识问题：包括需要复杂领域专业知识、LLM参数知识不准确、以及检索证据不充分或不准确。
   • LLM推理问题：包括“错误推理”和“过于严格的推理”（例如，要求声明与证据字面完全匹配，而忽略了语义一致性）。
   • 可辩论观点：一些声明涉及有争议的话题，从不同角度看可被视为真或假。 这项分析指出，未来研究需要更高质量的数据集、对更细粒度声明的核查，以及引导LLM进行更灵活（如语义对齐而非精确匹配）的推理。

五、 研究结论与价值

本研究成功提出并验证了FIRE，一个创新性的、基于代理的迭代事实核查框架。其核心贡献在于打破了传统框架中证据检索与声明验证分离的固定流程，通过一个统一的置信度驱动决策机制，将两者融合为一个动态、自适应的迭代过程。这更贴近人类事实核查的认知模式。

研究的结论明确指出：FIRE在保持与现有先进方法相当甚至略优的事实核查性能的同时，能够实现数量级级别的成本削减（LLM成本降为1/7.6，搜索成本降为1/16.5）。这使得高效、低成本的大规模自动事实核查成为可能，具有极高的应用价值。它可被集成到搜索引擎、社交媒体平台、新闻编辑系统或AI聊天机器人中，帮助用户、记者、研究人员快速验证信息真伪，对抗错误信息的传播。

科学价值方面，本研究：1）为构建更高效、更类人的AI事实核查代理提供了新的架构范式；2）通过详实的实验证明了LLM内部知识在事实核查中的关键作用，以及迭代决策机制的有效性；3）对现有基准数据集进行了深入的错误分析，指出了当前领域评估中存在的局限和未来改进方向。

六、 研究亮点

1. 方法论创新：提出了首个将检索与验证深度集成、基于置信度进行迭代决策的事实核查框架FIRE，模拟了人类的动态信息寻求过程。
2. 显著的效率突破：在性能不损失的前提下，实现了LLM计算成本和搜索成本一个数量级以上的降低，这是推动技术走向实际应用的关键。
3. 深入的机制分析：通过系统的消融实验（如“无推理”、“无搜索”）、成本-性能权衡分析、以及不同LLM的对比，深入揭示了框架各组件的作用、推理过程对信心的影响，以及模型规模与性价比的关系。
4. 全面的评估与错误归因：在多个数据集和多个强基线框架上进行了全面评估，并进行了细致的人工错误分析，不仅证明了方法的有效性，还指出了当前任务和数据集的深层次挑战，为后续研究指明了方向。

七、 其他有价值内容

论文附录提供了FIRE框架中使用的详细提示词（Prompt），包括默认决策提示、无推理提示、防止过度自信的各种策略提示以及最终验证提示。这些材料对于复现研究和理解框架的具体运作机制非常有价值。此外，作者也讨论了当前工作的局限性，例如决策机制较为紧凑、采用了二元标签简化了现实世界的复杂性、以及依赖于默认搜索引擎设置等，并提出了未来工作的方向，如引入记忆机制、扩展多模态支持、构建更具挑战性的数据集等。这些都为该领域的持续发展提供了清晰的路线图。