本文标题为《Graph propagation model with rich event structures for joint event relation extraction》,由Junchi Zhang、Tao Chen、Songtao Li、Ming Zhang、Yafeng Ren和Jun Wan等作者完成。研究工作主要由以下机构支持完成:江汉大学精密爆破国家重点实验室、江汉大学人工智能学院、武汉理工大学计算机科学与工程学院、广东外语外贸大学翻译学院和中南财经政法大学信息与安全工程学院。本研究成果发表在《Information Processing and Management》(Elsevier)期刊2024年第61卷,文章编号为103811。
本文聚焦于自然语言处理(Natural Language Processing, NLP)领域的文档级事件关系抽取(Event Relation Extraction, ERE),针对现有方法存在的语义表达不足以及任务交互缺乏的两大局限性,提出一种富事件结构启发的联合模型(Rich Event Structure-Informed Joint Model,简称RESIJ),并进行了理论和实验研究。
事件关系抽取任务旨在从文档中构建多事件的语义关系图(Event Relational Graph, ERG),为后续语义理解应用提供支撑。然而,目前主流的ERE方法存在两方面的不足:一是现有方法通常只基于事件触发词(Trigger)进行事件表达,忽略事件参数(Arguments)和角色(Roles)等丰富的语义信息;二是各类事件关系(如共指关系、时间关系、因果关系和子事件关系)之间存在复杂的交互性,但鲜有研究尝试结合这些关系进行联合抽取。
随着MAVEN-ERE等新型数据集的提出,这一领域开始向大型、多维度的联合任务研究方向发展。然而,由于上述两个局限,ERE任务在语义表达和任务性能提升方面仍存在巨大潜力。因此,本文设计RESIJ模型,旨在解决这些挑战,进一步提升文档级ERE的性能和可解释性。
研究的主要目标包括:
1. 构建一种能够嵌入跨句子语义信息的富事件结构表示方法,以增强事件的语义表达能力。
2. 探索事件关系联合抽取的跨任务交互方法,并通过捕获事件对的传递性规则提高抽取精度。
本研究的工作流程可分为以下几个核心环节:
研究首先利用语义抽象图(Abstract Meaning Representation,AMR)对文档进行语义解析。通过自动解析器将文档各句子的语义转化为AMR概念图,再通过多句子AMR(Multi-sentence AMR, MS-AMR)方法生成跨句子的联合语义图,由此获取潜在事件参数及其角色(如时间、地点等信息)。
为了适应事件抽取任务,研究基于AMR图设计了一种事件友好型的事件树结构,其中触发词被设为根节点,各参数作为直接子节点,边则表示参数的语义角色(如:Arg0、Arg1)。此外,通过深度优先遍历(Depth-first Graph Traversal)方法对AMR图进行调整,去除无关节点,并保持忠实于文本的信息链接。
为了突破传统事件图仅支持固定大小参数的局限性,研究提出了一种结构感知图卷积网络(Structure-aware GCN, SAGCN),以编码触发词、事件类型、上下文、参数及角色信息。这一方法通过图神经网络层(例如SAGCN)迭代更新每个节点(事件及其参数)表示,从而捕获丰富的语义依赖关系。
研究构建了用于多任务联合学习的子图传播与聚合网络(Subgraph Propagation and Aggregation Network),使事件关系的交互性得以量化。为此,研究采用双仿射(Biaffine)方法计算节点之间的边权重分数,并设计了三态对比损失(Triadic Contrastive Loss,TCL),用于捕获三元事件对的语义传递性。此外,本文考虑到错误传播问题,使用了子任务的边分布权重(Weight Scores)来控制跨任务数据聚合的力度。
本文实验基于MAVEN-ERE(目前最大的ERE数据集)展开,同时扩展至EDeR、MATRES和HiEve等数据集进行泛化性验证。MAVEN-ERE涵盖了112,276个事件提及(Event Mentions)及多种事件关系(时间、因果、子事件等类型)。
实验所设计的流程包括指标验证(如F1值和MUC分数)、模型消融实验(Ablation Study)以及进一步的案例分析,以多角度验证模型的有效性。
RESIJ模型在MAVEN-ERE数据集上的F1得分显著优于基线模型,时间、因果、子事件及共指关系上分别达到了60.7%、37.4%、32.9%和86.1%,相比现有最佳模型有显著提升(P<0.05)。尤其在事件对距离越远的情况下,模型表现出更好的语义推理能力。
通过分别移除事件树、角色标签、跨句参数及其他模块,实验表明模型性能显著下降,验证上述模块(如事件树和SAGCN)的有效性。移除TCL后,因果及子事件关系的性能下降尤为明显,表明TCL对传递性规则捕获的关键作用。
在EDeR、MATRES和HiEve数据集上的实验表明,RESIJ模型在跨领域任务中依然保持较高性能,分别领先对比方法至少3.2%的F1值。这证明模型具有较强的迁移能力。
RESIJ模型通过创新性地结合AMR解析技术和结构感知图卷积网络,不仅解决了现有ERE方法在事件语义表示及跨任务交互方面的关键局限性,还在多个数据集上实现了当前最佳性能。
该研究的科学意义主要包括:
1. 提出了一种富语义事件结构的新型表示方式,增强了复杂关系中的事件表示能力。
2. 创新性地考虑了联合任务中的跨任务交互性,提高了整体任务性能。
3. 设计了一种三态对比损失(TCL),有效捕获了事件间的逻辑推理能力。
同时,模型在文档事件关系推理、时间序列关系建模及子事件识别等方面具有重要的应用价值,未来可服务于问答系统、风险分析和叙事性文本理解等多种任务。
总结而言,该研究在理论方法和实际性能上均实现了突破,未来具有广泛的应用前景与研究意义。