分享自:

面向水研究可信文献筛选的领域增强多智能体框架

期刊:Water ResearchDOI:10.1016/j.watres.2026.126813

本研究由哈尔滨工业大学(Harbin Institute of Technology)城市水环境与水安全国家重点实验室的Runzhi Wang、Xinlu Lin、Baoyi Zhong、Jiaxuan Li、Ruixing Huang、Yu Huang、Yajuan Cai、Jun Ma及通讯作者Yumeng Zhao等学者主导,联合美国麻省理工学院(Massachusetts Institute of Technology)、鹏城实验室及希腊研究与技术中心化学过程与能源资源研究所(Chemical Process and Energy Resources Institute, Centre for Research and Technology—Hellas)的研究人员共同完成。论文发表于水研究领域顶级期刊《Water Research》,文章于2026年5月30日收稿,2026年8月26日接受并在线发表,刊载于该刊2027年第308卷。研究聚焦人工智能(artificial intelligence, AI)与可持续水管理的交叉领域,核心问题是利用大语言模型(large language models, LLMs)实现水处理领域文献筛选的自动化、高精度与可信赖性。传统文献筛选依赖人工逐篇阅读标题和摘要,判断其是否符合特定研究主题的纳入标准,这一过程劳动密集、耗时数月甚至数年,严重制约了大规模科学数据集的构建。研究者提出领域增强的多智能体框架,以结构化提示策略、检索增强生成(retrieval-augmented generation, RAG)及多智能体协作机制,在保持高准确率的同时将处理速度提升79倍,成本降至人工的1.4%。

在方法体系上,研究首先构建了三个水处理领域的基准数据集,主题分别为膜分离去除全氟及多氟烷基物质(per- and polyfluoroalkyl substances, PFAS)、生物炭吸附去除重金属、电化学氧化降解有机污染物。数据来源于Web of Science核心合集,采用主题特定高级检索策略获取候选文献,经严格数据清洗后,由三名专家独立标注,并通过多阶段讨论达成一致标签作为金标准。最终形成三个数据集:数据集I含371篇、数据集II含2958篇、数据集III含5852篇。为了可评估性,对数据集II和III进行分层抽样,各保留330篇具有一致正负比例的代表性子集。标注依据为3T标准,即研究目标(target)、技术匹配(technology)和研究类型(type)。3T提示策略要求模型分别判断文献是否针对特定污染物或环境介质、是否采用指定处理技术、是否属于提供原始数据的实验研究,只有三个分项均满足时才判为相关。该方法将单一二元相关性判断分解为三个可追溯的独立判断,使分类错误可定位至具体筛选标准。在提示词结构上,完整提示包含角色定义、任务描述、待分析文献信息、输出格式要求以及检索到的领域知识五部分。RAG模块采用人工构建的任务专属水处理知识库,约含50个条目,涵盖领域定义、技术边界和元素分类信息。每条知识均用distiluse-base-multilingual-cased-v1句向量模型独立编码,利用文献标题和摘要生成查询嵌入,通过余弦相似度检索最相关条目并附加至提示词上下文。

研究评估了GPT-4.1、Claude-3.5-haiku、Grok-3-mini、DeepSeek-V3和Moonshot-V1-8k五个LLMs,温度参数设为零以减少输出随机性。结果显示,3T+RAG策略相较仅包含一句话任务描述的基线提示,将所有模型的平均F1分数提高了12.5%,从0.753提升至0.878。消融实验表明,单独使用RAG反而因引入上下文噪声导致平均F1分数降至0.742,而仅用3T结构化提示可将F1分数从0.753提升至0.849,说明结构化推理与领域知识的互补才是性能提升的关键。在所有模型中,3T+RAG的Cohen’s kappa一致性系数大多超过0.90,表明决策稳定性高。与九名人类标注者的对比实验中,单个LLM在精度上普遍优于个人标注者,三个数据集上的平均精度分别为0.882、0.859和0.941;人类个人精度为0.763、0.666和0.800。在F1分数上,单个LLM也达到或超过三人投票共识组的表现。时间效率方面,在20个并行线程下,LLM平均每篇处理时间为0.50秒,人类为39.64秒,速度提升79倍。成本方面,LLM每100篇平均成本为0.91元人民币,人工为65.27元人民币,仅为后者的1.4%。输入token数量约为输出token的三倍,但输出token单价为输入的4到8倍,因此输入上下文精简与输出效率控制均是成本优化方向。

为进一步提升可信度,研究提出审稿人-审稿人-仲裁者(reviewer-reviewer-arbiter, RRA)多智能体框架。两个独立审稿人智能体基于3T+RAG提示并行评估每篇文献,当二者判断不一致时启动仲裁智能体,分析原始文献及双方推理记录,给出最终判定。根据审稿人初始结果,将决策结果分为三类:一致正确、一致错误和可追溯错误。一致正确无需仲裁;一致错误因缺少内部信号而不可追溯;不一致错误则被视为可追溯,因为审稿人分歧本身提示可能存在误判。在三个基准数据集上,一致正确结果约占89.2%,可追溯错误占3.2%至12.0%,不可追溯错误仅占1.1%至3.6%。争议分布具有模型依赖性。数据集I和II中,包含Moonshot-V1-8k的审稿人组合产生最多分歧,与其个体性能较低一致;数据集III中,DeepSeek-V3相关组合争议最多。以ChatGPT-4.1为仲裁者,因其在争议数据集上仲裁性能最佳且处理速度较快。不同审稿人组合对RRA整体性能影响显著。数据集I推荐DeepSeek-V3与Claude-3.5-haiku组合或ChatGPT-4.1与Claude-3.5-haiku组合,二者F1分数均超过0.90且不可追溯错误率最低;数据集II中Moonshot-V1-8k与Grok-3-mini组合取得最高F1分数0.883,不可追溯错误率2.4%;数据集III中ChatGPT-4.1与Claude-3.5-haiku组合F1分数0.944,不可追溯错误率仅0.6%。RRA框架使人工复核可聚焦于争议文献并对共识判断进行抽样质控,无需逐篇审查全部检索结果。

研究结论指出,领域增强策略使通用LLM能够以高精度和高效率完成水研究文献筛选。3T+RAG方法通过显式筛选路径与领域知识约束,显著降低了幻觉和错误分类,且具备决策可追溯性。与人类个人标注及三人多数投票共识的对比验证了其在准确率、速度和成本上的综合优势。多智能体RRA框架进一步提供质量保障层,通过区分可追溯与不可追溯错误,支持更有针对性的人工监督模式,可作为传统数据库检索与下游科学分析之间的合格性筛查层。该框架有望促进更一致、可扩展且可审计的文献数据集的构建,加速AI驱动的水资源管理和环境修复研究。研究同时指出当前局限,包括仅在三个水处理领域开展资格筛选,未涉及结构化数据提取、证据综合、机制解释或假设生成,且RAG知识库为专题定制,未来需评估其向更广泛环境领域迁移的能力,并开发更高效的知识库构建与更新策略。

本文的核心亮点在于:其一,提出3T+RAG领域增强提示策略,将单一相关判断拆解为目标、技术、类型三个可独立验证的维度,实现错误可追溯并显著提升分类性能;其二,引入RRA多智能体协作框架,利用双审稿人分歧检测潜在误判,为AI辅助文献筛选提供透明性和可审计性;其三,在三个实际水处理主题数据集上完成与多层级人类标注者的系统性基准测试,以精度、召回率、F1分数、速度、成本及一致性等多维指标验证了方法的综合性能。该研究为科学文献智能筛选提供了可迁移的领域增强范式,对大数据集构建和可持续水管理领域的知识自动化具有重要实践价值。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com