学术报告

作者及出版信息

本文档是从一篇学术文章中提取的，文章题为“CorefPrompt: Prompt-based Event Coreference Resolution by Measuring Event Type and Argument Compatibilities”。作者包括 Sheng Xu、Peifeng Li 和 Qiaoming Zhu，隶属于中国苏州大学计算机科学与技术学院，文章发表在Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023)，页面范围为 15440-15452。

学术背景

本文的研究聚焦于事件共指消解（event coreference resolution, ECR）任务，属于自然语言处理（Natural Language Processing, NLP）领域的重要问题。ECR 旨在将文档中提到的所有与同一真实世界事件相关的事件词簇聚集在一起。研究这一领域的主要原因在于事件共指的识别对于理解文本语义至关重要，并在许多下游任务（例如事件抽取、话语分析和时间轴摘要）中具有显著应用价值。然而，事件共指消解比实体共指消解更具挑战性，这是因为事件具有复杂的结构，其触发词和参数（arguments）在文本中的分布往往较为分散，而对此类分布的理解需要综合多个维度的信息，包括触发词、参数和事件类型等。

尽管已有大量研究采用 “先编码（encoding），后打分（scoring）” 的框架完成 ECR 任务，但这些方法存在一些问题：编码与判断过程独立，信息传递不足，难以捕捉人类经验总结的事件共指规则，如“同一组共指事件应具有相同的事件类型”。为了克服这些问题，作者提出了一种基于提示（prompt-based）的新方法 CorefPrompt，通过将事件建模与共指判断集成到单一的提示模板内，从而在共享上下文中进行统一优化。

研究工作流程

本文提出的研究方法包含以下几个主要部分，每一部分的细节步骤如下：

(1) 引入提示机制： 研究团队将事件共指消解任务转化为一种填空式的 “masked language model (MLM) task”。它依赖为预训练语言模型（pre-trained model, PTM）设计的提示模板，并通过以下三个类型的模板引导模型学习： - 前缀模板 (Prefix Template)：引导 PTM 专注于输入中需要处理的事件。 - 锚点模板 (Anchor Template)：用于插入事件的触发词和参数，并进行事件类型预测。 - 推断模板 (Inference Template)：用于引入辅助任务，并演示事件共指推理的过程。 这些模板帮助模型在共享上下文内动态交互事件建模和共指判断的过程，解决了以往方法中的“信息隔断”问题。

(2) 数据编码与事件表示： In context 模型通过混合多种模板让 PTM 对输入事件对 (evi, evj) 进行编码，并专注于事件信息。锚点模板不仅明确标注触发词，还显示参数，包括参与者和具体位置，从而提升事件建模和推理能力。

(3) 辅助任务与推理： 本文提出了两个辅助任务： - 事件类型兼容性（Event-Type Compatibility）： 确定事件对是否具有相同的事件类型。 - 参数兼容性（Argument Compatibility）： 判断两个事件的参数是否一致。 这些辅助任务通过推断模板中的逻辑演示结合，推动语言模型做出深度逻辑推断。

(4) 数据匹配优化与联合训练： - 作者引入了张量匹配的操作以捕捉事件的语义交互特征（匹配语义和事件类型）。 - 同时，通过触发词遮掩正则化（Trigger-Mask Regularization）增强模型的鲁棒性。 - 为更新模型参数，研究团队联合优化事件类型预测、兼容性预测和共指判断，形成整体损失函数，自动平衡任务权重。

每个步骤都经过精细设计，显著提升了模型对复杂 ECR 任务的处理能力。

主要研究结果

本文在 TAC-KBP2017 数据集上进行模型评估，结果显示 CorefPrompt 方法的表现与 SOTA（state-of-the-art）方法 Xu2022 相当，在 avg-F1 上取得了 51.3 的分数，而其主要性能如下： - 模型使用了 Roberta 提升了对段落的编码效果，同时通过 prompt 方法成功整合了人工总结的规则。 - 在事件对分类任务中，CorefPrompt 比基线提升明显，尤其是在包含不同参数状态的事件中（例如“无参数”到“具有参数”的分类场景）。 - 相比传统的方法，CorefPrompt 引入人类知识的显式约束，使得模型能够系统性地推导事件共指，提升了预测结果的准确性和召回率。

结论与研究价值

研究结论： 本研究成功将提示学习方法应用于事件共指消解任务，并通过引入两个辅助任务显式演示 ECR 推理过程，在充分利用 PTM 预训练知识的同时，使事件建模和共指判断得到深度交互优化。

科学价值： - 本研究提供了一种方法论的突破，将事件消解任务转化为预训练语言模型的最优任务形式，解决了传统方法中信息传递不足的问题。 - 引入的事件类型及参数兼容性的辅助任务，为 NLP 任务的推理过程设计提供了新的思路。

应用价值： - 本研究提出的提示法通用性强，可迁移到如实体共指、关系抽取等其他信息抽取任务中。 - 该模型在事件抽取、话语分析及时间轴摘要等多种下游任务中具有广泛应用价值。

研究亮点

1. 创新方法： 采用 Prompt-Tuning 的方法将事件建模与共指推理集成到一个共享上下文内，这是 NLP 领域中一次新的方法论探索。
2. 辅助任务： 结合事件类型和参数兼容性辅助任务，为深入理解复杂任务的逻辑推理提供了一种新的实现方式。
3. 可解释性： 通过 Chain of Thought（推理链）的方法显式演示判断逻辑过程，显著提升了结果的可解释性。

未来方向与局限性

尽管本文中的方法取得了显著进展，但仍有以下两个不足需要未来解决： 1. 本方法采用了多阶段流程，需先识别触发词后再构建提示，可能因触发词预测误差而产生的误差累积。 2. 在训练时间上，生成每个事件对样本使得总体样本规模较大，计算资源消耗比部分基线方法高。

探索如何利用端到端的联合优化方法，设计总结性更高效的模板，将是后续研究的重要方向之一。