本研究由来自法国南布列塔尼大学（Université Bretagne Sud）计算机科学与随机系统研究所（Research Institute of Computer Science and Random Systems）的 Rania Bennetayeb、Giuseppe Berio、Nicolas Bechet，以及法国 b-com 研究院（Institute of Research and Technology b-com）算法部门的 Albert Murienne 共同完成。论文于 2025 年发表在第十七届知识发现、知识工程与知识管理国际联合会议（IC3K 2025）的 KEOD 分会上，收录于会议论文集第 184 至 191 页。

该研究属于知识工程与语义网（Semantic Web）领域，聚焦于利用大语言模型（Large Language Models, LLMs）从城市规划法规文本中自动构建本体（Ontology）和知识图谱（Knowledge Graph, KG）。城市规划合规性验证要求语义精确、决策过程完全可解释，但传统手动构建本体的方式成本高、周期长且难以扩展。近年来，大语言模型在自然语言理解与生成方面表现出色，但单独使用 LLM 进行知识提取存在缺乏显式模式、一致性差和难以更新的问题。语义网技术，如本体和知识图谱，提供了形式化语义表示、推理能力和透明的决策路径，能够与 LLM 形成互补。因此，本研究旨在提出一套半自动化的方法，将 LLM 的灵活性与语义网技术的严谨性相结合，从法国雷恩都会区（Rennes Métropole, RM）的地方城市规划（Local Urban Planning, LUP）法规文本中构建城市规划本体，以支持建筑许可（Building Permit, BP）申请的合规性审查。

研究的工作流程分为四个主要部分：文本处理、知识提取引擎、验证器和图构建模块。在模型选择阶段，作者首先在公开的 WebNLG+2020 数据集上系统评估了八种当前最先进的大语言模型，包括 Claude 3.5 Sonnet、Gemini 2.0 Flash、GPT-4o、Grok 2、Meta Llama3.3 70B Instruct、Mistral Nemo Instruct 2407、Qwen2.5 72B Instruct 和 Copilot。评估任务为从自然语言句子中提取语义三元组（Triple），即“主语—谓语—宾语”形式的结构化关系。研究从 WebNLG 数据集的 16 个类别中随机抽取了 150 个样本，确保覆盖不同类别和关系类型。提示词（Prompt）设计采用了少样本学习（Few-Shot Learning）和思维链（Chain-of-Thought, CoT）方法，将任务分解为顺序步骤，并提供了包含单位、日期等复杂格式的示例。评估指标包括严格匹配（Exact Matching）以及基于语义相似度、后缀树相似度（Suffix-Tree Similarity）和莱文斯坦距离（Levenshtein Distance）的模糊匹配。语义相似度计算使用预训练 BERT 模型提取三元组各元素的嵌入向量，并计算余弦相似度，阈值设定为 0.84。结果表明，Claude 3.5 Sonnet 在严格匹配上达到 F1 58.88%，在语义相似度上 F1 达到 89.36%，在所有指标上均优于其他模型。基于此，研究选择 Claude 系列模型用于后续的 LUP 文本提取，并最终升级到 Claude Sonnet 4，因为其在推理能力、复杂指令遵循、200K 令牌上下文窗口以及多语言问答方面表现更优。

在应用于 LUP 语料库时，研究面临特定挑战。LUP 是一份 240 页、83,790 词的法语法规文件，语言专业且包含大量去极性模态（Deontic Modality），如“必须”“可以”“应当”等义务与许可表达。文档结构复杂，包含章节、小节和交叉引用，若仅在句子级别提取三元组，会破坏跨章节的逻辑联系。因此，研究设计了一种迭代式分段策略：首先按章节划分文档，保留标题，排除图片并单独处理表格；对于超过令牌限制的章节，使用 Claude 的分词器进行平衡切分，并在超过 500 令牌时以冒号作为自然边界进一步分割。为了提升提取质量，研究从“停车”（Parking）章节中选取句子，由领域专家手动标注为三元组，标注过程包括将隐含关系显式化、处理定量约束和模糊表述，并规范化词汇。这些标注后的句子—三元组对作为少样本提示中的示例（Shots）使用。

提示工程方面，研究比较了两种提取方法。第一种方法为无上下文方法，每个文本块独立处理，模型仅基于当前块内容提取三元组。第二种方法为上下文感知方法，在处理当前块时，模型会接收到所有先前已提取的三元组作为上下文信息，并被指示保持术语一致性和与已有术语的关联。两种方法均使用五个示例的少样本学习与增强型思维链策略，将任务分解为明确的顺序步骤。模型温度设置为 1 以激活推理能力，推理预算为 5000 个令牌，并使用 XML 标签（如 <triple>）来结构化提示词，减少歧义并便于解析。

验证阶段分为两步。第一步是基于图的验证，使用 NetworkX 库构建三元组图并分析拓扑性质。结果显示，无上下文方法生成的 Graph 1 包含 266 个节点和 278 条边，密度为 0.00394，被分割为 23 个弱连通分量，最大连通分量仅覆盖 33% 的节点。上下文感知方法生成的 Graph 2 包含 257 个节点和 331 条边，边数增加了 19%，密度提高至 0.00503，且形成一个单一的弱连通分量，连通分量比率为 1。Graph 2 的连通性显著优于 Graph 1，表明上下文感知方法能有效增强概念间的互联性，避免“语义孤岛”。第二步是专家验证，由两名领域专家对上下文感知方法提取的三元组进行分类，包括正确三元组、规则类三元组、需纠正三元组、无关三元组和错误三元组。专家判断初始提取的 111 个三元组与建筑许可合规性验证无关，部分三元组需要纠正。在专家验证后重新计算图拓扑指标，发现尽管存在大量删除和修改，验证后的三元组仍主要分布在两个大型连通子图中：组件 1 包含 91 个三元组（41.7%）和 85 个节点，组件 2 包含 122 个三元组（56.0%）和 95 个节点，两个组件合计占总三元组的 97.7%，表明核心知识结构保持了良好的一致性。

研究的主要结果表明，基于大语言模型的三元组提取方法能够有效从城市规划法规文本中构建具有良好拓扑性质的知识图谱。上下文增强方法虽然面临可扩展性挑战——随着已提取三元组数量增加，上下文窗口可能被无关信息占用——但通过图拓扑分析证明其能显著改善图的连通性和密度。专家验证揭示了提取结果中存在大量与具体合规性验证任务无关的噪声，但核心知识结构仍保持完整。这些结果为后续构建正式本体和规则库奠定了基础。

本研究的科学价值在于提出了一套完整的评估与构建流程，将 LLM 的抽取能力与图拓扑分析和专家验证相结合，为领域本体构建提供了可复用的方法论。在应用价值上，该方法可直接用于城市规划合规性验证系统，帮助审查人员高效处理建筑许可申请，同时保持法规执行的精确性。研究还证明了上下文感知提示策略在提升知识图谱一致性方面的有效性，并揭示了其在长文档处理中的局限性。

研究的亮点包括：第一，系统评估了八种主流 LLM 在语义三元组提取任务上的表现，为领域应用中的模型选择提供了量化依据；第二，提出了结合图拓扑分析与专家判断的双重验证机制，弥补了缺乏领域标注数据时的客观评估空白；第三，针对法语城市规划法规的特殊语言特征设计了领域适配的提示工程方案，包括去极性表达处理和模糊概念消除策略。

未来工作将引入基于语义相似度的三元组选择机制，在上下文增强时仅注入与当前块相关的前序三元组，以缓解可扩展性问题。研究还计划提取 LUP 全部章节的三元组并组织为层级本体，集成去极逻辑建模能力，采用 OWL-DL 表达基础约束和分类关系，使用语义网规则语言（SWRL）编码复杂法规规则，并结合形状约束语言（SHACL）实现自动化合规性验证。同时，将通过引入溯源元数据（Provenance Metadata）确保每个本体元素可追溯至原始文本段落，以支持法规更新时的精准维护和长期可靠性。