这篇文档《From Text to Insight: Large Language Models for Chemical Data Extraction》是一篇发表在Chem. Soc. Rev.（2025, 54, 1125–1150）上的教程性综述文章。文章的第一作者和共同第一作者是Mara Schilling-Wilhelmi和Martiño Ríos-García，通讯作者是Kevin Maik Jablonka。主要参与单位包括德国耶拿弗里德里希·席勒大学的有机与高分子化学研究所（IOMC）、德国柏林洪堡大学物理系、西班牙国家研究委员会（CSIC）的碳科学技术研究所（INCAR）、美国英特尔实验室（Intel Labs）以及多个耶拿大学的研究中心。文章的核心主题是全面探讨大型语言模型在化学和材料科学领域用于从非结构化文本（如科学文献）中提取结构化数据的应用、挑战与未来方向。
文章开篇即点明化学领域面临的一个根本性挑战：绝大多数化学知识以非结构化的自然语言形式存在（例如科学论文），而数据驱动的材料设计与创新（如机器学习建模）却高度依赖结构化数据。长期以来，这一领域依赖于针对特定用例的手工整理或部分自动化提取，过程繁琐且难以扩展。随着大型语言模型的崛起，情况发生了根本性转变。LLMs为非专家提供了高效、大规模地从文本中提取可用结构化数据的潜力。然而，将LLMs应用于化学和材料科学的数据提取也带来了独特挑战，例如对领域特定术语的理解、多模态数据的处理以及结果的验证。与此同时，丰富的化学领域知识也为引导和验证LLM的输出提供了独特机遇。本文旨在充当一个全面的教程和资源，为研究人员提供一个端到端的工作流框架，利用LLMs与化学专业知识的协同作用，加速数据驱动的化学研究，并最终服务于开发应对社会关键需求的新型化合物和材料。
文章的正文部分围绕一个核心的数据提取工作流展开，并将其分解为几个关键阶段，并对每个阶段进行了深入剖析，涵盖了现有知识、技术方法和实际应用。主要的论述点如下：
第一，数据提取工作流概述与预处理。 文章将整个LLM驱动的化学数据提取过程归纳为一个迭代的工作流，通常始于数据收集。作者指出，数据挖掘的首要挑战是法律合规性，涉及版权与文本数据挖掘的法律边界。研究者可以通过获取出版商的许可或利用特定地区（如美国的“合理使用”、欧盟的非商业研究例外）的版权例外条款来合法获取数据。文中列举了EuroPMC、arXiv、ChemRxiv、S2ORC、Elsevier OA Corpus等公开的科学文献和数据存储库，并强调了通过API进行程序化访问的便利性及其限流政策。在获取原始数据后，预处理步骤至关重要，因为原始文档（尤其是PDF）包含大量与核心信息无关的内容（如参考文献、页眉页脚）或难以直接解析的格式（如图片、复杂表格）。预处理涉及文档解析（如使用Nougat、Marker等工具将PDF转换为带语义标记的Markdown）、文档清理（移除无关章节、合并支持信息）以及处理LLM有限的上下文窗口问题。对于长文档，需要通过分块策略（如固定长度分块、基于语义/章节的分块）将文本分解，或采用检索增强生成（RAG）技术，先利用嵌入模型在向量数据库中检索相关文本块，再送入LLM进行处理，以降低成本和提高效率。文章指出，分块策略的选择（例如是否采用重叠、语义分块）和RAG的性能高度依赖于任务、嵌入模型和检索策略。
第二，与LLM交互的策略与技术。 这一部分详细介绍了利用LLM进行数据提取的各种范式及其选择逻辑。文章首先建议从使用领先的通用大模型（如GPT、LLaMA系列）结合提示工程开始，这是一种快速原型开发的路径。提示方法包括零样本提示（仅给出任务指令）、少样本提示（在提示中提供少量示例以进行上下文学习）以及更高级的技巧，如思维链、自我反思等。系统提示（设定模型角色）和用户提示（包含具体输入和示例）的区别也得到了说明。文章强调，提示优化通常是一个经验性过程，但也有一些自动化框架（如DSPy）正在发展。如果通用模型的提示工程效果不佳，下一步可以考虑微调。微调通过在特定任务或领域数据上进一步训练模型，可以显著提升其在特定数据提取任务（如命名实体识别、关系抽取、信息提取）上的性能。为了降低计算成本，参数高效微调技术（如LoRA）成为主流，它通过优化少量低秩矩阵来更新模型。此外，文章提到了人类参与回路的标注流程，即先用模型进行初步标注，再由专家修正，修正后的数据用于进一步微调模型，形成一个高效迭代。当微调仍不满足需求时，理论上可以考虑从头预训练一个领域专用模型，但这需要海量数据和计算资源，通常仅对非常特定的任务或使用更小的模型（如领域定制的BERT变体）才具有可行性。文章通过一个决策树清晰地总结了如何根据任务需求、可用数据和计算资源在这三种范式（零/少样本提示、微调、预训练）中进行选择。
第三，超越纯文本：多模态与智能体方法。 化学文献中的关键信息往往蕴含在图表、化学结构式、光谱图、显微照片等非文本模态中。因此，文章深入探讨了视觉语言模型在化学数据提取中的应用。VLMs能够端到端地处理图像和文本，直接从原始图表中提取信息，避免了因使用OCR工具转换复杂结构可能造成的信息损失。文章比较了纯OCR-LLM流水线与VLMs的适用场景，指出对于富含复杂图表和结构信息的文档，VLMs可能是更优选择，尽管其调用成本通常更高。文中也承认，当前领先的VLMs在处理专业科学图像（如谱图、反应式）时仍存在挑战。为此，针对特定模态的专业工具（如用于表格的TableTransformer、用于提取反应数据的ReactionDataExtractor、用于从图表中提取数值的WebPlotDigitizer）仍然是重要的补充。为了整合这些多样化的工具并构建动态、复杂的工作流，文章引入了智能体（Agent）的概念。LLM驱动的智能体能够自主规划任务、使用外部工具、进行自我反思，从而构建灵活的数据提取流水线。智能体系统通常包含规划（如思维链、思维树）、反思、记忆（结合RAG）和工具使用（如ReAct框架）等核心设计模式。多智能体协作（例如让不同智能体扮演提取者、评估者、批评者角色）可以进一步提升系统的鲁棒性和准确性。然而，智能体方法也面临错误传播、无限循环、安全风险以及在开放任务中难以评估等挑战。
第四，后处理：确保输出的结构化与有效性。 LLM的原始输出是概率性的文本序列，直接用于生成结构化数据（如JSON）可能存在格式错误或内容不合规的问题。文章强调了一种重要的后处理技术：约束解码。该技术能够在模型生成过程中，动态地将允许采样的词汇表限制在符合目标格式（如JSON语法）或数据类型（如数值、布尔值）的子集内，从而确保输出在句法上的正确性。例如，使用JSONformer或Outlines等库可以基于形式语法强制模型生成有效的JSON。文章还提及了通过提供类型提示或在提示中嵌入示例来引导输出格式的中间策略。为了将提取的实体与现有知识库对接，还可以进行本体对接，即将提取出的化学名称映射到标准化的标识符（如PubChem ID）。
第五，评估：量化与验证提取性能。 对数据提取流水线进行系统评估至关重要，但也颇具挑战性。文章详细阐述了如何为结构化数据提取设计评估指标。核心思想是将提取任务视为实体匹配问题，计算精确率（提取出的正确实体占所有被提取实体的比例）和召回率（被正确提取的实体占所有应提取实体的比例），进而计算F1分数。关键在于，必须先将提取出的条目与人工标注的“金标准”条目进行配对（匹配），这通常涉及到为实体定义唯一标识符（如归一化的反应物列表）并使用模糊匹配算法（如编辑距离）来解决多实体匹配问题。此外，数据归一化（如同一个化学物质的不同命名、不同单位制的转换）是计算指标前必不可少的一步。文章特别指出，化学领域数据提取的一大优势是可以利用领域知识进行验证。例如，提取出分子式和核磁共振谱数据后，可以使用化学信息学工具检查二者是否一致；提取化学反应后，可以检查原子是否守恒。这种基于规则的“合理性检查”不仅提高了数据质量，还能在没有全量标注数据的情况下进行初步评估，构成了一个重要的反馈循环。
第六，未来前沿与发展方向。 文章的最后部分展望了该领域未来需要突破的几个关键方向。1. 提升多模态模型能力：当前VLMs在处理化学领域的复杂图表、晶体结构文件（CIF）以及图文交叉引用关系时仍有局限，需要开发更专业、更稳健的模型。2. 跨文档链接分析：科学知识分散在相互引用的多篇文献中。目前的方法主要针对单文档提取，未来需要发展能够理解和整合来自不同文献及相关数据源信息的技术，智能体方法可能是一个有前景的方向。3. 应对科学文献偏见：已发表文献倾向于报道成功和完美的结果，缺乏失败或原始数据，这可能导致LLMs学习到有偏的知识，加剧科学研究的可重复性危机。需要改善数据报告规范以适应AI时代的需求。4. 超越论文的数据提取：随着新仪器、新模拟软件不断涌现，数据格式和模态也在快速变化。未来的LLMs需要能够适应并从这些新型数据源中提取信息。5. 从查询到模型的自主构建：结合文献搜索智能体、数据提取智能体和机器学习模型构建智能体，未来可能实现用户提出一个科学问题，系统就能自动查找、提取数据并训练出预测模型的愿景，尽管这面临极大的技术挑战。6. 建立更全面的基准测试：现有的信息提取基准大多针对通用NLP任务，缺乏能够全面评估LLMs/VLMs在化学领域低数据场景适应能力、多模态理解能力和跨文档推理能力的专门基准，这是推动该领域发展的关键基础设施。
本文作为一篇教程性综述，其核心价值在于首次为化学和材料科学领域的研究者提供了一个关于利用LLMs进行结构化数据提取的综合性、实用性框架。它不仅系统性地梳理了从数据获取、预处理、模型选择与交互（提示、微调、多模态、智能体）、后处理到评估的完整工作流，还深入探讨了每个环节的具体技术、可用工具和潜在陷阱。文章特别强调了化学领域知识在引导和验证LLM输出中的独特作用，为“AI for Science”的交叉研究提供了宝贵的实践经验。更重要的是，文章清晰地指出了该领域当前面临的挑战和未来的研究方向，如法律合规、多模态融合、跨文档分析、评估标准化等，为后续的研究者指明了道路。这篇综述有望成为化学、材料科学与人工智能交叉领域研究人员的一本“实践指南”，通过降低利用LLMs进行科学数据挖掘的技术门槛，加速数据驱动的材料发现与化学研究进程，最终服务于解决能源、环境、健康等重大社会需求。