基于互锚对比学习的少样本关系抽取研究

计算机科学 信息科学 人工智能
少样本关系抽取 对比学习 预训练 微调 信息抽取

利用实例-标签动态的互锚对比学习进行少样本关系抽取

学术背景

在自然语言处理（Natural Language Processing, NLP）领域，关系抽取（Relation Extraction, RE）是一项基础任务，旨在从文本中识别并提取实体之间的关系。然而，传统的监督学习方法依赖于大量标注数据，而在实际应用中，标注数据的稀缺性严重制约了模型的性能。为了应对这一挑战，少样本关系抽取（Few-Shot Relation Extraction, FSRE）应运而生，旨在通过少量标注数据训练模型，使其能够在有限的样本下准确识别实体关系。

近年来，预训练语言模型（Pre-trained Language Models, PLMs）在FSRE任务中取得了显著进展，尤其是结合对比学习（Contrastive Learning, CL）的方法，能够有效利用实例和标签之间的动态关系。然而，现有方法在充分利用实例-标签对以提取丰富的语义表示方面仍有不足。为此，本文提出了一种基于互锚对比学习（Reciprocal Anchored Contrastive Learning, RACL）的框架，旨在通过多视角对比学习，进一步提升FSRE任务的性能。

论文来源

本文由来自中国电子科技大学计算机科学与工程学院的Yanglei Gan、Qiao Liu、Run Lin、Tian Lan、Yuxiang Cai、Xueyi Liu、Changlin Li和Yan Liu共同撰写。论文于2025年发表在《Neural Networks》期刊上，题为《Exploiting Instance-Label Dynamics through Reciprocal Anchored Contrastive Learning for Few-Shot Relation Extraction》。

研究流程与结果

1. 研究流程

a) 互锚对比学习框架的设计

RACL框架的核心思想是通过实例和标签的互锚对比学习，提升模型对语义关系的理解。具体来说，RACL采用对称的对比目标，结合实例级和标签级的对比损失，促进表示空间的统一性和一致性。框架分为预训练和微调两个阶段。

  • 预训练阶段：RACL使用两个独立的BERT模型分别作为标签编码器和句子编码器。通过处理句子-标签对，模型生成高维语义表示。预训练任务包括互锚对比学习（RCL）和掩码语言建模（MLM）。RCL通过最大化正确句子-标签对的余弦相似度，同时最小化错误对的相似度，从而优化表示空间。

  • 微调阶段：在微调阶段，RACL将预训练得到的句子和标签表示结合，生成混合原型（Hybrid Prototype），用于关系分类。通过引入对称的对比损失，RACL进一步优化原型的判别性，使其能够更好地区分语义相似的关系。

b) 数据集与实验设置

RACL在FewRel 1.0和FewRel 2.0两个基准数据集上进行了实验。FewRel 1.0包含70,000个实例和100种关系类型，FewRel 2.0在FewRel 1.0的基础上引入了生物医学领域的测试集，并增加了“None of the Above”（NOTA）类别。实验采用了5-way-1-shot、5-way-5-shot、10-way-1-shot和10-way-5-shot四种少样本设置。

2. 主要结果

a) 少样本关系抽取性能

RACL在FewRel 1.0和FewRel 2.0数据集上均取得了显著优于现有方法的结果。在FewRel 1.0测试集上，RACL在5-way-1-shot、5-way-5-shot和10-way-5-shot设置中均达到了最高准确率，分别为95.59%、96.82%和96.19%。在FewRel 2.0的跨领域测试中，RACL在5-way-1-shot和10-way-1-shot设置中分别以81.80%和72.48%的准确率领先于其他方法，展现了其强大的领域适应能力。

b) 互锚对比学习的有效性

通过对比不同预训练方法的特征分布，RACL表现出更紧凑且一致的聚类效果，表明其能够更好地对齐实例和标签表示。此外，RACL在与其他预训练方法（如MAPRE和LPD）结合时，依然保持了较高的性能，进一步验证了其互锚对比学习的独特优势。

c) 零样本关系抽取性能

在零样本关系抽取（Zero-Shot Relation Extraction, ZSRE）任务中，RACL同样表现出色。在FewRel 1.0验证集上，RACL在5-way-0-shot和10-way-0-shot设置中分别达到了73.50%和58.90%的准确率，显著优于其他方法。

3. 结论与意义

RACL框架通过引入互锚对比学习，有效提升了少样本关系抽取任务的性能。其核心贡献在于： - 多视角对比学习：RACL通过实例和标签的互锚对比学习，能够更好地捕捉语义关系，提升模型的判别能力。 - 对称对比损失：通过引入对称的对比损失，RACL确保了实例和标签表示的一致性，增强了模型的泛化能力。 - 跨领域适应能力：RACL在FewRel 2.0的跨领域测试中表现出色，展现了其在复杂场景下的鲁棒性。

4. 研究亮点

  • 创新性方法：RACL首次将互锚对比学习应用于少样本关系抽取任务，通过多视角对比学习，显著提升了模型的性能。
  • 广泛适用性：RACL不仅在少样本设置下表现优异，还在零样本和跨领域任务中展现了强大的适应能力。
  • 开源代码与模型：研究团队公开了RACL的预训练代码和模型，为后续研究提供了宝贵的资源。

总结

RACL框架通过互锚对比学习，为少样本关系抽取任务提供了一种新颖且高效的解决方案。其多视角对比学习策略和对称对比损失设计，显著提升了模型的语义理解能力和泛化性能。未来，RACL有望在更多NLP任务中得到应用，进一步推动少样本学习领域的发展。