本研究由Johns Hopkins University的Kaiser Sun、Bernal Jiménez Gutiérrez、Jingyu Zhang、Jie Gao、Mark Dredze、Daniel Khashabi以及New York University的Hongjun Liu共同完成，论文发表于计算语言学协会2026年自然语言处理经验方法会议（Findings of the Association for Computational Linguistics: EMNLP 2026），页码45401–45420。研究聚焦于评估大语言模型（LLM）智能体在知识冲突情境下的认知谦逊（epistemic humility）表现。
研究背景方面，当前LLM智能体系统在编程助手、研究代理和通用AI助手等领域的应用日益广泛，然而现有评估体系几乎完全以结果为导向，仅关注最终答案是否正确，而忽略了智能体在执行过程中是否识别并传达了应有的不确定性。认知谦逊源于心理学中的智识谦逊（intellectual humility）概念，指个体意识到自身知识可能不完整或信念可能有误的意愿。该研究将其操作化为三个可观测的行为维度：识别（identify）、解决（solve）和升级（escalate），合称ISE框架。研究通过知识冲突（knowledge conflict）情境来诱发认知谦逊行为，即当骨干语言模型的参数化知识与检索到的证据相矛盾，或两个上下文来源相互矛盾时，观察智能体的反应。
研究的核心流程包括三个主要步骤：冲突构建、轨迹收集和认知谦逊评估。在冲突构建阶段，研究采用两种互补的冲突设置。第一种是受控冲突（controlled conflict），使用来自ConflictQA和WikiContradict的事实性问题，通过零样本自由形式和多项选择两种模式提取骨干模型的参数化答案，仅保留两种模式一致的实例，然后构建包含相互矛盾答案段落的冲突任务，并配以一致的对照任务。第二种是自然发生的冲突（naturally occurring conflict），从GAIA、Monaco和BrowseComp等需要多步搜索和工具使用的基准中选取实例，通过两遍程序（闭卷回答后自我验证）筛选出骨干模型持有自信但错误参数化信念的实例，并构建匹配的智能体对照集。
在轨迹收集阶段，研究评估了四个智能体框架与五个骨干模型的组合：Nemotron-ToolOrchestra配合Nemotron-Orchestrator-8b、Claude Code配合Claude Sonnet 4.6、OpenHands配合GPT-5.2，以及Qwen-Agent分别配合Qwen3.5-9b和Qwen3.5-27b。每个智能体在冲突和对照任务上运行完整协议，记录包含推理轨迹、工具调用及参数、工具观察结果和用户文本的完整轨迹τ = (s1, …, st)，所有智能体最多执行50次迭代。
在认知谦逊评估阶段，研究定义了三个轨迹级别的度量指标。识别（identify）指标衡量智能体是否在中间轨迹中识别出知识差距，由GPT-5法官仅阅读中间轨迹（最终答案之前的每一回合）并返回预测的差距标签及首次识别出现的回合索引，指标为相对于真实差距标签的F1值。解决（solve）指标衡量智能体在识别差距后是否采取了行动以缩小差距，定义为在识别后做出至少一次成功的工具调用、无精确重复调用、且轨迹干净终止的比例。升级（escalate）指标衡量智能体在最终答案不正确的情况下，是否在最后一回合向用户承认存在未解决的残余不确定性。三个指标共同构成了认知谦逊的操作化测量。
研究的主要结果揭示了三个关键发现。第一，更高的任务准确率并不必然对应更高的认知谦逊。在受控冲突基准TMD上，所有报告结果的配置相对于无冲突对照损失了超过30个百分点的准确率；在自然发生冲突设置中，部分配置在冲突拆分上的准确率显著低于对照拆分。任务准确率与认知谦逊各维度的关系分析显示，解决率和升级率与准确率呈负相关：拟合曲线从低准确率时约45%的解决率下降到高准确率时不足10%，升级率同样从约38%下降到不足10%。OpenHands在GAIA上达到51.0%的准确率，但在错误的实例上倾向于忽略冲突；Claude Code在BrowseComp上达到90.0%的识别F1，然而其错误的最终答案通常不承认未解决的不确定性。
第二，轨迹级别分析显示，智能体倾向于在执行的早期步骤识别出冲突，但后续跟进不足。研究发现，冲突相关答案的提及在执行的前10%内达到峰值，然后急剧下降并呈现长尾分布。具体而言，错误轨迹中对标准答案的提及和正确轨迹中对参数化答案的提及都集中在轨迹的早期阶段，表明冲突相关信息的早期暴露并未伴随着后续的跟进或升级，这一模式与简单性偏置（simplicity bias）相容。
第三，系统提示干预往往提高升级率但降低任务准确率。研究基于认知心理学和语言模型的相关发现，在每个智能体的系统提示前添加了一个简短条款，要求模型考虑证据的替代解读、指出未解决的冲突并报告ISE分数，而不改变工具、规划循环或骨干权重。结果显示，大多数配置以更高的升级率换取更低的准确率：在Monaco上，GPT-5的升级率从1.6%上升到60.7%，准确率从30.1%下降到23.2%；Claude Code的升级率从13.9%上升到60.8%；Qwen-Agent（Qwen3.5-9b）从16.7%上升到44.9%。在BrowseComp上，GPT-5获得28个百分点的升级率提升但损失6个百分点的准确率。
研究的结论强调了以轨迹级别评估智能体行为的重要性。认知谦逊应当作为智能体系统设计和评估的重要维度，与任务准确率并行考量。研究提出了三个设计含义：智能体框架应暴露明确的弃权或升级操作，使中途识别的冲突能够保留到最终答案中；基准应采用不确定性感知的评分方式，使自信的错误答案不会系统地优于诚实的承认；训练应监督轨迹的每一步而非仅监督最终答案。研究同时指出了局限性：骨干模型与框架耦合导致无法分离各自的因果贡献；ISE仅覆盖认知谦逊的一个方面；知识冲突仅是诱发认知谦逊的一个渠道；干预范围仅限于系统提示级别。
研究的亮点在于：首次在智能体系统中系统性地评估认知谦逊行为，将心理学概念操作化为可测量的轨迹级别指标；通过受控冲突和自然发生冲突的配对设计，提供了已知真实标签的评估设置；使用多个法官模型和人类标注者验证评估可靠性，三个法官在正确性上达到0.93–0.97的Gwet’s AC1，在识别和升级上达到0.82–0.92；发布了所有智能体轨迹和逐回合ISE判断，为后续研究提供信号。研究还发现，即使智能体在轨迹早期识别出冲突，也无法在后续步骤中维持或解决，这一现象提示需要从模型、框架和评估环境的交互角度理解认知谦逊的涌现机制。