本文档汇报了一项单一原创研究，属于类型a。以下是基于文档内容撰写的详细学术报告。
针对持续少样本关系抽取中未见关系检测的动态原型对比微调研究学术报告
本研究由国防科技大学信息系统工程国家重点实验室的张思淼、谭震*、庞宁、肖伟东，以及国防科技大学大数据与决策实验室的赵翔共同完成，相关论文《Dynamic-Prototype Contrastive Fine-Tuning for Continual Few-Shot Relation Extraction with Unseen Relation Detection》已于2025年1月19日至24日期间，在第31届国际计算语言学会议（Proceedings of the 31st International Conference on Computational Linguistics）上发表。
一、 学术背景与研究目标
本研究隶属于自然语言处理领域中的信息抽取子领域，具体聚焦于关系抽取（Relation Extraction, RE）任务。关系抽取旨在识别文本中两个标注实体之间的语义关系，是构建知识图谱、智能问答等应用的关键技术。传统的关系抽取方法通常基于预定义的关系集合和静态数据集进行训练，难以应对现实应用中不断涌现的新关系。一种朴素的解决方案是每当出现新关系时就利用历史和新数据重新训练模型，但这会带来巨大的计算和存储开销。
为了解决这一挑战，研究者们提出了持续关系抽取（Continual Relation Extraction, CRE）的概念，旨在让模型能够持续学习新关系，同时不遗忘先前已学习的关系知识。考虑到为新关系获取大量标注数据在实际中往往非常困难，一个更具挑战性的任务——持续少样本关系抽取（Continual Few-Shot Relation Extraction, CFRE）被提出，要求模型仅从每个新关系的少数几个标注样本中学习。作为一个典型的持续学习过程，CFRE面临灾难性遗忘（Catastrophic Forgetting）的核心难题，即在学习新任务时严重遗忘旧任务的知识。
现有解决CFRE的主流方法主要依赖基于记忆回放（Memory Replay）的策略，即保存一部分历史任务的样本用于后续的复习训练。然而，这类方法存在两个主要缺陷：首先，它们通常假设序列中的任务是独立的，忽视了任务间因关系分布差异可能导致的负向知识迁移；其次，它们为所有关系分配统一的记忆空间，忽略了不同关系因语义复杂度不同而具有的不同学习难度和记忆需求，这可能导致难以充分复习那些学习困难（即“难”）的关系。
此外，在现实场景中，模型常常会遇到不属于任何已学习关系类别的文本，即“以上皆非”（None-of-the-Above， NOTA）关系。虽然在传统RE任务中NOTA常被作为一个额外的类别处理，但在持续学习设置下，由于记忆空间有限，难以完全覆盖NOTA复杂的语义空间，使得NOTA检测变得极具挑战性，而此前的CFRE研究尚未系统性地解决这个问题。
基于上述背景，本研究的目标是提出一个新颖的框架，以同时解决持续少样本关系抽取中的三个核心问题：1）缓解任务间的负向知识迁移；2）根据关系语义复杂度动态分配记忆资源；3）有效检测从未学习过的NOTA关系。该研究旨在使模型在现实场景中更具实用性和全面性。
二、 研究方法与详细流程
本研究提出的新框架被命名为动态原型对比微调（Dynamic-Prototype Contrastive Fine-Tuning, DPC-FT）。其工作流程主要包含以下几个紧密衔接的阶段，整体架构在论文图2中有清晰展示。
第一阶段：基于LoRA的轻量级任务特定编码
在此阶段，核心目标是针对每个新到来的任务，训练一个轻量级的任务特定编码器，以隔离不同任务的知识，减少负迁移。具体流程如下： 1. 任务形式化：在N-way K-shot（例如8-way 10-shot）设置下，模型需要按顺序学习一系列任务{T1, T2, …, Tn}。每个任务Tk包含其自身的训练集、验证集和测试集，以及对应的N个新关系。训练集D_train_k包含N个关系，每个关系提供K个（本研究为10个）标注句子实例。 2. 编码与分类基础：对于每个输入句子（包含一对标记实体[e1]和[e2]），使用基于实体标记的编码器获取句子表示。该编码器以BERT-Large为基础，通过在实体前后插入特殊标记（如[e1], [/e1]）并取对应标记的隐藏向量进行拼接和变换，得到最终的实例表示向量h。 3. 参数高效微调：为了避免全参数微调带来的高开销和过拟合风险，本研究采用低秩自适应（Low-Rank Adaptation， LoRA）技术。具体而言，冻结预训练BERT模型的原始权重矩阵W，并为每个新任务Tk引入一组可训练的低秩矩阵Pk和Qk（秩r=16），以更新自注意力层。权重更新公式为：W‘ = W + α · PkQk。其中α是缩放因子。这种方法仅需微调约2.53%的BERT-Large参数（约869万参数），极大降低了训练成本。 4. 任务编码器存储：为每个任务Tk独立训练并保存其对应的LoRA参数集合{Pk， Qk}。在推理时，可根据测试文本的来源任务（或通过计算选择最合适的任务）调用相应的编码器参数进行编码，实现了任务的解耦。
第二阶段：动态原型模块构建
此阶段的目标是为每个已学习的关系动态构建一组具有代表性的原型（Prototype）表示，作为记忆存储，并根据关系的语义复杂度（难易程度）动态分配原型数量。 1. 动态原型获取：对于一个目标关系r，其在当前任务中有K个训练实例，经过任务特定编码器得到K个嵌入向量{hr1， …, hrK}。本研究提出了一种动态聚类算法（见论文Algorithm 1）来生成该关系的原型集Cr = {c1， …, cm}。 * 算法维护一个原型中心集合Cr（初始为空）。 * 对于每个新到来的嵌入向量hri，计算其与Cr中所有现有原型中心cj的欧氏距离。 * 找到最小距离d_min及其对应的原型中心j*。 * 动态决策： * 若d_min ≤ ρ（预设初始半径，如1.0），则认为hri属于该簇，并更新原型中心cj*为(b * cj* + hri) / (b+1)，其中b是当前簇内的样本数。 * 若ρ < d_min ≤ ρ + δ（δ为波动半径），则认为hri仍可归入该簇，但需扩大该簇的半径ρ至d_min，原型中心保持不变。 * 若d_min > ρ + δ，则认为hri不属于任何现有簇，将其初始化为一个新的原型中心cm，加入Cr。 * 通过这种方式，语义简单、样本聚集度高的关系可能只产生一个原型中心；而语义复杂、样本分散的关系则会产生多个原型中心，从而更全面地表示其语义空间。这实现了“为简单关系分配更少记忆，为困难关系分配更多记忆”的初衷。 2. 原型对比学习：为了在嵌入空间中更好地区分不同关系，本研究设计了一个原型对比损失函数L2。对于一个训练样本，将其与所有关系原型计算相似度，将其所属关系的原型作为正例，其他关系原型作为负例。如果该样本形成了一个新的原型中心，则其自身作为正例。损失函数鼓励正例对的相似度高于负例对。最终的训练损失是关系分类的交叉熵损失L1与对比损失L2的联合：L = L1 + L2。
第三阶段：关系推理与NOTA检测
此阶段的目标是对测试文本进行分类，并有效过滤出NOTA样本。 1. 综合评分机制：对于给定的测试样本q，首先使用所有N个任务特定编码器生成其N个可能的表示{q1, …, qn}（理论上应使用其所属任务的编码器，但为处理未知任务，可通过计算选择最匹配的编码器或使用所有编码器生成候选）。然后，将该表示与动态原型模块中存储的所有关系原型进行相似度比较。 2. 阈值标准：本研究提出一个结合角度和距离的综合评分函数，以克服高维空间中仅依赖单一度量可能产生的偏差。对于测试表示qk和原型ci，评分函数为：s_rk_i = w1 * (余弦相似度) + w2 * (1 / (1 + 欧氏距离))。其中权重w1和w2通过实验确定为3：7。对于每个测试样本，选择与其评分最高的原型所对应的关系作为预测关系。 3. NOTA检测：为了识别NOTA样本，研究提出了一个基于阈值的准则。在验证阶段，模型在所有已见关系验证集文本上计算综合评分。由于验证集中包含预设比例（如10%）的NOTA样本，可以将模型在这些样本上计算出的评分分布的最低分位点（如最低12%）设置为阈值。在测试时，若测试样本与所有原型的最佳综合评分低于此阈值，则判定其为NOTA关系。
三、 主要实验结果与贡献
研究在两个广泛使用的关系抽取数据集上进行了实验：FewRel（80个关系）和TACRED（42个关系，包含“no_relation”类别）。实验设置为严格的10-shot，即每个任务中每个关系只提供10个训练样本，并将数据随机划分为10个任务，增加了任务的挑战性。
1. 整体性能对比（RQ1） 研究将DPC-FT与7个最新的CRE和CFRE基线模型进行了比较，包括RP-CRE， CRL， CRECL， ERDA， DP-CRE， SCKD和CONPL。结果（论文表1）显示： * 在FewRel（8-way-10-shot）数据集上，DPC-FT从任务1到任务10的准确率均保持领先，尤其是在后期任务（T7-T10）中优势明显。在最终任务T10上，DPC-FT达到了85.96%的准确率，显著优于最佳基线CONPL的80.97%。 * 在TACRED（4-way-10-shot）数据集上，DPC-FT同样表现优异，在T10上达到80.08%的准确率，优于CONPL的76.43%。 * 实验结果验证了在严格的少样本持续学习设置下，现有模型性能下降显著，而DPC-FT通过其动态原型和任务解耦设计，表现出更强的稳定性和抗遗忘能力。
2. 模块消融研究（RQ2） * 动态原型模块：消融实验（论文表2）表明，禁用动态半径调整（w/o dra.）或禁用多中心策略（w/o m-c.）都会导致性能下降。同时禁用两者（w/o both， 相当于使用静态K-means）性能下降最显著，在FewRel T10上准确率从85.96%降至80.47%，验证了动态聚类根据语义复杂度分配原型数量的有效性。 * 综合评分模块：消融实验（论文表3）显示，仅使用余弦相似度（w/o euc-dis.）或仅使用欧氏距离（w/o cos-sim）进行分类，性能均低于结合两者的综合评分方法，证明了该评分机制能更全面地衡量语义相似性。
3. 与大型语言模型的对比（RQ3） 研究还将DPC-FT与GPT-4和GPT-4o mini在相同CFRE设置下进行了比较（论文图3及附录表6）。结果显示： * 在关系分类准确率上，DPC-FT与参数量小得多的GPT-4o mini性能相近，与庞大的GPT-4存在一定差距但并非遥不可及。 * 在NOTA检测准确率上，DPC-FT表现尤为突出。在FewRel数据集上，其NOTA检测准确率与GPT-4o mini互有高低，整体接近；在TACRED数据集上，DPC-FT在多数任务上的NOTA检测准确率显著高于GPT-4o mini，甚至在一些任务上超过了GPT-4。 * 这一对比极具价值：DPC-FT仅使用3.4亿参数的BERT-Large，并只微调其中2.53%的参数，却在NOTA检测这项关键实用任务上达到了与千亿参数规模LLMs相媲美甚至更优的性能，同时在关系分类上保持了竞争力，彰显了其在资源效率、本地部署安全性和任务针对性方面的巨大优势。
4. 训练成本分析（RQ4） 由于采用LoRA进行参数高效微调，DPC-FT每个任务的训练轮次仅需约4秒，远快于许多需要全参数微调或复杂记忆管理的基线模型，实现了快速且准确的性能。
四、 研究结论与价值
本研究成功提出了一个名为DPC-FT的创新框架，用于解决持续少样本关系抽取任务，并首次在该任务中系统性地引入并解决了NOTA关系检测问题。
科学价值与应用价值： * 方法学贡献：提出“任务特定轻量编码”和“基于语义复杂度的动态原型记忆”两大核心机制，为缓解持续学习中的负迁移和灾难性遗忘问题提供了新的思路。动态原型模块模拟了大脑分区域处理不同知识块的能力，具有认知启发性。 * 任务拓展：率先将NOTA检测这一实际需求正式引入CFRE研究范畴，并提出了有效的基于阈值的解决方案，使模型对现实世界中未知关系的识别能力成为可评估、可优化的指标，推动了CFRE向更实用、更全面的方向发展。 * 实用性优势：模型在保持高精度的同时，具有参数效率高、训练速度快、无需存储原始记忆样本（只需存储原型向量）等优点，并且通过实验证明了其在NOTA检测等关键能力上不逊于甚至优于资源消耗大得多的通用大语言模型，为在资源受限的边缘设备上部署持续学习系统提供了可行方案。
五、 研究亮点
六、 其他有价值内容
研究在局限性部分坦诚指出了两点：一是相比基于原始样本存储的方法，DPC-FT需要存储多组LoRA参数，但由于LoRA参数总量很小，此开销远小于全参数微调模型；二是尽管动态聚类减少了记忆样本，但某些复杂关系仍可能保留多个原型，可能导致语义分散，这是未来可改进的方向。这些讨论体现了研究的严谨性。此外，论文附录提供了详尽的超参数设置、动态聚类半径选择实验以及与大语言模型对比的完整数据，具有很高的参考价值。