分解的困境：声明分解究竟会提升还是降低事实核查的性能？ ——关于“分解-验证”范式在大型语言模型驱动事实核查中的系统性分析
作者及发表信息 本项研究的主要作者是Qisheng Hu、Quanyu Long和Wenya Wang，他们均来自新加坡南洋理工大学。其研究论文《Decomposition Dilemmas: Does Claim Decomposition Boost or Burden Fact-Checking Performance?》作为一篇长文，发表于2025年4月29日至5月4日在美国举办的第2025届计算语言学协会美洲分会学术会议（Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies） 上，收录于会议论文集的第一卷，页码范围从6313页至6336页。
研究背景与动机 本研究属于自然语言处理领域中，面向大型语言模型的事实核查与可信度评估这一重要方向。随着大型语言模型（Large Language Models, LLMs）的广泛应用，其生成内容的事实性（Factuality）问题，如幻觉（Hallucination），已成为一个亟待解决的挑战。为了提高事实核查的自动化水平与精确度，学术界提出了“分解-验证”（Decompose-then-Verify）的通用范式。其核心思想是，将复杂的待核查文本（如LLM生成的段落）先分解成更小、更具原子性的子声明（Sub-Claims），然后对每个子声明独立进行证据检索和真实性验证，最后汇总所有子声明的验证结果来得出关于原始文本的整体结论。
尽管这一范式已在众多事实核查框架（如FactScore、Factool、VeriScore等）中得到广泛应用，并被视为一种有效的技术路径，但其对最终事实核查性能的真实影响却缺乏深入且一致的理解。现有文献中出现了相互矛盾的现象：一些研究报道称分解能显著提升性能，而另一些研究则观察到分解后性能反而下降。这种不一致性表明，分解操作本身可能引入了一种复杂的权衡。然而，迄今为止，尚无系统性的研究来全面探究造成这种性能差异的根本原因、分解过程可能引入的误差类型，以及在不同条件下如何预测分解的净效应。
因此，本研究旨在填补这一空白，对分解在“分解-验证”下游性能中的影响进行深入剖析。研究团队设定了三个核心科学问题：第一，是什么因素决定了分解对事实核查性能的影响（提升或降低）？第二，分解过程可能引入哪些类型的错误？第三，如何解释事实核查性能的这种变异性？通过对这些问题的探索，本研究期望为当前系统的不稳定性提供新的见解，并为未来改进事实核查流程中的声明分解技术提供指导。
研究设计与详细流程 本研究采用了基于实验和案例分析的实证研究方法，其工作流程严谨而系统，主要包含以下几个关键步骤：
1. 建立统一的“分解-验证”实验框架： 研究首先构建了一个标准化的四阶段事实核查流水线，作为评估基础。这四阶段分别是：（1）分解（Decompose）：使用特定的分解方法和语言模型（默认使用GPT-4o-mini）将输入文本分解为子声明。（2）检索（Retrieve）：为每个子声明从一个知识源（维基百科或谷歌搜索）中检索支持性证据。（3）验证（Verify）：将一个验证器模型（Verifier）视为一个自然语言推理任务，判断检索到的证据是否支持该子声明，生成一个支持度分数（0到1之间）。（4）聚合（Aggregate）：将所有子声明的支持度分数通过调和平均等方法聚合成一个最终分数，并以此做出“支持”或“不支持”的二分类决策。
2. 实验设计与变量控制： 为了全面探究性能变异性的来源，研究设计了多维度、大规模的对照实验。具体设置如下： * 数据集选择与处理：研究选取了四个具有细粒度标注的数据集，覆盖了两个粒度层级。声明级（Claim-level） 数据集包括WICE（从维基百科提取的自然声明）和ClaimDecomp（从政治事实核查网站提取的政治声明）。响应级（Response-level） 数据集包括FELM（ChatGPT生成回答的世界知识子集）和BingChat（微软Copilot生成回答）。对于响应级数据，研究还使用GPT-4o进行了去语境化处理，确保每条回复可作为独立文本理解。 * 分解方法对比：研究选用了三种具有代表性的LLM驱动分解方法：FactScore（强调分解为原子事实）、VeriScore（专注于提取可验证的声明）以及WICE（其特定的声明分割方法）。此外，设置无分解基线，直接将原始输入用于后续步骤。 * 验证器模型对比：研究使用了三个不同能力的验证器模型，以代表“弱”到“强”的验证能力谱系：AlignScore-large（一个专门的NLI模型）、MiniCheck-7B（一个用于事实核查的专用模型）以及基于GPT-4o-mini的少样本分类器（来自VeriScore框架）。这有助于探究验证器强度如何影响分解的效用。 * 评估指标：主要采用平衡准确率和F1分数作为评估指标，以应对数据潜在的类别不平衡问题。
3. 分解错误分析与分类： 为了回答“分解引入什么错误”的问题，研究团队对大量案例进行了人工检查，重点分析那些基线模型预测正确但加入分解后预测错误的案例。基于此，他们系统地提出并定义了四类分解错误： * 上下文信息遗漏（Omission of Context Information）：包括缺失核心声明或关键细节，以及缺失因果关系、比较关系等逻辑联系。 * 歧义性（Ambiguity）：分解出的子声明存在模糊指代（如“他”、“这项研究”）或不完整表述，导致多种解释可能。 * 过度分解（Over-decomposition）：将输入过度碎片化为冗余的子声明或重复信息，增加了复杂性并可能导致原意曲解。 * 原意篡改（Alteration of Original Meaning）：引入原文中没有的、伪造的或矛盾的信息，改变了原始声明的含义。 研究还开发了一个基于GPT-4o的少样本提示模板，用于自动检测和分类这些错误，并进一步利用错误检测的结果作为反馈，通过“反思（Reflection）”提示来优化初始的分解结果，验证错误分类的有效性。
4. 复杂性缩放实验与权衡分析： 为了深入解释性能变异性的内在机理，研究提出了一个“分解权衡”假说，并通过一系列精心设计的复杂性缩放实验进行验证。核心思想是，分解的净效益（ΔA_err）取决于两个相互竞争的方面：一方面，准确性增益（ΔA），即将复杂输入分解为更简单的子声明所带来的验证准确性提升；另一方面，引入的噪声（e），包括分解过程本身的噪声（e_d）和由于子声明数量增加而累积的检索噪声（e_r）。当ΔA > e时，分解提升性能；反之则降低性能。 其实验包括： * 复杂度上调：将WICE数据集的输入与其上下文句子拼接，创建更复杂的WICE-long数据集，观察分解在更复杂输入下的表现。 * 复杂度下调：将FELM数据集中的响应分解为更短的声明级组合，创建FELM-short数据集，观察分解在更简单输入下的表现。 * 多样化复杂度缩放：利用BingChat数据中带标注的多个声明，通过组合生成不同复杂度（1到9个声明）的输入样本。然后，通过指令控制GPT-4o将每个输入精确分解为指定数量（2到9个）的子声明，从而精细地绘制出在不同输入复杂度和不同分解程度下的性能热力图，直观展示权衡关系。
主要研究结果 1. 决定分解效果的关键因素：实验结果表明，分解对最终性能的影响高度不一致，取决于三个关键因素的交互作用： * 输入粒度：对于响应级的长文本，分解带来的性能提升通常比声明级的短文本更显著。例如，在FELM数据集上，使用MiniCheck验证器时，所有分解方法都大幅提升了F1分数；而在WICE数据集上，使用同一验证器时，分解却导致了性能下降。 * 验证器强度：这是一个决定性因素。分解通常对较弱的验证器（如AlignScore）益处更大，因为它能通过简化输入来显著弥补验证器处理复杂信息的能力不足。然而，对于较强的验证器（如GPT-4o-mini），分解的边际准确性增益有限，却可能因引入额外的分解与检索噪声而导致性能下降。这解释了为何之前不同研究（如Kamoi等人与Tang等人的工作）会得出相反结论——因为他们使用了不同强度的验证器。 * 分解方法设计：不同分解方法由于设计目标不同（如FactScore追求原子性，VeriScore追求可验证性），会产生不同数量和质量的子声明，从而对下游性能产生不同影响。例如，FactScore倾向于产生更多子声明但引入更多过度分解错误；VeriScore产生的子声明较少，但更容易遗漏上下文信息。
分解错误分布与影响：通过对FactScore和VeriScore的分解结果进行错误分析发现：
性能变异性的解释——分解权衡的实证：复杂性缩放实验强有力地支持了“分解权衡”假说。
WICE-long（高复杂度）上，分解方法相比基线显示出性能改善，表明对于复杂输入，简化带来的准确性增益足以抵消额外噪声。FELM-short（低复杂度）上，分解带来的性能增益消失甚至出现下降，表明对于简单输入，分解的增益有限而噪声成本凸显。研究结论与意义 本研究通过系统性分析，揭示了在“分解-验证”事实核查范式中，分解操作并非总是有益的，其效果受到输入复杂度、验证器能力和分解方法设计的共同制约，背后是一个准确性增益与引入噪声之间的根本性权衡。这一权衡为之前文献中观察到的性能不一致性提供了统一的解释框架。
研究的科学价值在于： 1. 提供了深刻的理论洞察：首次系统性地剖析并形式化了分解在事实核查流水线中的双刃剑效应，将直观观察上升为可解释的权衡模型。 2. 贡献了实用的错误分类学：提出的四类分解错误（遗漏、歧义、过度分解、篡改）为诊断和评估分解质量提供了清晰的维度和工具。 3. 给出了具体的设计指导：研究结论为构建更健壮的事实核查系统提供了重要指南：对于复杂文本或使用较弱验证器时，分解是有效的策略；但对于简单文本或使用强大验证器时，需谨慎使用分解，并注意控制分解的粒度，避免生成过多子声明。同时，开发能减少特定错误（如针对方法弱点进行补偿）的分解算法是未来的重要方向。
研究亮点 1. 问题的新颖性与重要性：选题直击当前LLM事实核查研究中的一个广泛使用但理解不足的核心组件——“分解”，具有很高的现实意义和学术价值。 2. 分析的系统性与深度：研究不是简单的性能对比，而是通过多因素实验设计、错误根因分析和理论建模（权衡假说），层层深入，构建了一个完整、自洽的解释体系。 3. 实验设计的精巧与实证的坚实：特别是“复杂度缩放”和“控制子声明数量”的实验，设计巧妙，提供了非常直观和令人信服的证据来支撑其核心论点。 4. 产出兼具理论贡献与实践工具：不仅提出了解释性框架，还提供了可操作化的错误分类体系和通过“反思”优化分解的可行思路，对后续研究和应用开发具有直接参考价值。
其他有价值的内容 研究在附录中提供了极其详尽的实验设置、完整结果、错误示例和提示词模板，确保了研究的可重复性。同时，研究也探讨了使用开源模型Llama-3.1-8B作为分解器的效果，发现其在某些数据集上表现可与GPT-4o-mini媲美甚至更优，这为开发更经济、可控的事实核查系统指明了可能性。最后，研究坦诚地指出了其局限性，如聚焦二分类任务、未探索将声明转化为问题式查询的范式等，为未来研究留下了清晰的方向。