本文介绍的是一项发表于Neural Networks期刊2024年第180卷106601页的原创性研究。主要作者为黄晨、俞飞(共同一作)、万志国、李凤英、嵇辉和李原迪,他们分别来自浙江大学实验室、哈尔滨理工大学和江苏大学。这项研究旨在解决推荐系统领域中的一个核心挑战:如何更有效地利用知识图谱(Knowledge Graph)中的信息,特别是克服现有知识图谱嵌入方法在实体与关系特征聚合过程中的不足,以提升推荐性能。
研究背景与动机
随着知识图谱在各个领域的广泛应用,其已成为表示结构化、可解释知识的强大工具。将知识图谱融入推荐系统,为解决仅凭用户-物品交互数据难以揭示的复杂推荐问题(如冷启动、数据稀疏性)提供了新思路。知识图谱通过在一个统一的全局空间中连接与物品相关的各类信息,有助于更深入地理解推荐问题。
在知识图谱表示学习领域,嵌入方法因其能自动学习实体和关系的连续向量表示、捕捉语义关联并支持高效计算等优势,受到了广泛青睐。然而,现有基于知识图谱的推荐方法存在明显局限: 1. 忽视关系特征学习与全局结构:现有方法通常侧重于实体层面的细节,未能充分学习实体间关系的特征,也忽略了实体和关系在知识图谱内复杂、多样且不平衡的聚合过程。 2. 简化信息传播模式:传统方法常将网络中的信息传播简化为树状结构进行聚合,忽视了网络中实际的子图结构。这种简化忽略了网络动态中固有的复杂交互模式。 3. 缺乏对信息传播置信度的考量:知识图谱中,即使是同一类别的实体(如同一位作者在不同期刊上发表的论文),其信息的可靠性、影响力或传播价值也可能存在显著差异。当前方法未能量化这种差异,导致嵌入表示不够精确。
因此,本研究旨在提出一种面向推荐的、具备“置信度感知”能力的知识图谱嵌入方法,以克服上述挑战,更精确地建模信息在知识图谱中的传播与聚合,从而生成更高质量的用户与物品表示,最终提升推荐系统的准确性。
研究方法与工作流程
本研究提出了一种名为“知识图谱置信感知嵌入”的新方法,简称KGCE。其核心思想是在信息传播与聚合过程中,动态地量化并整合实体和关系的“置信度”,从而生成更精确的嵌入表示。整个研究框架包含三个主要模块:置信感知实体嵌入模块、置信感知关系嵌入模块和基于KGCE的推荐模块。研究流程遵循以下详细步骤:
第一步:问题定义与数据集构建 研究首先形式化定义了异质知识图谱及其嵌入问题。在此基础上,为了全面评估KGCE方法,研究选取了四个公开的异质知识图谱数据集:DBLP(学术网络)、Yelp(商业评论网络)、Foursquare(位置签到网络)和YAGO(通用知识库)。这些数据集涵盖了不同领域和规模,确保了实验的广泛性和鲁棒性。研究详细描述了每个数据集的实体类型、关系类型及统计信息(实体数、用户数、物品数、交互数),为后续实验奠定了基础。
第二步:置信感知实体嵌入 这是KGCE方法的核心创新之一,其目标是生成融合了信息传播置信度的实体嵌入表示。该步骤细分为三个子流程: 1. 路径构建:在知识图谱中,以目标实体为中心,根据实体类型定义路径长度,构建出从其他实体到目标实体的连续三元组序列(路径)。这些路径代表了信息可能传播的通道。 2. 聚合图生成:将指向同一目标实体的所有路径合并,形成一个以该目标实体为汇聚点的子图,称为“聚合图”。这摒弃了简单的树状聚合假设,更真实地反映了信息在复杂网络中的汇聚结构。 3. 置信感知特征聚合:这是最关键的子流程。在聚合图上,研究者提出了一种新颖的“置信度网络”来动态计算路径上同类型实体的置信权重。 * 初始化:为聚合图中的所有实体初始化特征表示。 * 分层与置信权重计算:将同类型的起始实体归为一层。对于每一层,使用一个置信网络(Confidence Net, CN)计算该层每个实体的置信权重。该网络通过一个权重矩阵将实体的隐藏状态映射到与目标实体类型相关的概率分布上,再与目标实体的独热编码做内积,得到标量置信权重。这个过程直接量化了在向特定目标实体聚合信息时,当前实体所提供信息的相对可靠性与相关性。 * 信息聚合:利用计算出的置信权重,对同层邻居实体的特征进行加权聚合。接着,使用门控循环单元(GRU)将聚合后的信息与下一层实体的初始特征进行融合,实现信息跨层的传播与更新。 * 目标实体表示生成:经过多层(从起始层到目标实体层)的置信加权传播与GRU融合后,最终得到目标实体的置信感知嵌入表示。该表示不仅包含了来自多跳邻居的结构和语义信息,还融入了这些信息在传播路径上的置信度评估。
第三步:置信感知关系嵌入 在获得实体的置信感知嵌入后,研究进一步对关系进行嵌入。关系嵌入不仅依赖于关系本身的初始化特征,还考虑了其所连接的两个实体的置信感知嵌入。 * 对于知识图谱中的一个三元组(头实体,关系,尾实体),其关系表示通过一个关系函数计算得出。该函数将关系的初始特征与经过线性变换的头、尾实体置信感知嵌入进行融合(使用双曲正切函数激活)。这确保了关系的表示与其两端实体的精确表示紧密相关。 * 此外,研究还引入了一个基于信息熵的关系函数来进一步增强关系的特征表示。
第四步:基于路径的推荐模型 为了预测用户对物品的偏好,研究构建了用户与物品之间的可达路径。 * 路径嵌入:对于用户和物品间的每一条可达路径,利用路径上实体和关系的置信感知嵌入,通过序列建模(如GRU或MLP)生成该路径的向量表示,即路径嵌入。 * 注意力聚合:用户和物品之间通常存在多条可达路径。研究采用注意力机制,为每条路径嵌入计算一个权重,该权重表示该路径对最终用户-物品交互预测的重要性。然后,对所有路径嵌入进行加权求和,得到用户与物品之间的“可达性”综合表示。 * 交互概率预测:最后,将上述综合表示输入一个多层感知机,通过Sigmoid函数输出用户与物品之间存在交互(即用户可能喜欢该物品)的概率。
第五步:模型训练与优化 研究设计了复合损失函数来联合优化整个模型: 1. 嵌入损失:采用负采样技术,最大化观察到的三元组(实体-关系-实体)存在的概率,确保基础嵌入的质量。 2. 置信权重损失:使用交叉熵损失,优化置信网络对目标实体类型的预测准确性,确保置信权重的有效性。 3. 推荐分类损失:使用二元交叉熵损失,优化模型对用户-物品交互行为的预测准确性。 总损失是上述三项损失的加权和,并加入了L2正则化项以防止过拟合。模型使用Adam优化器进行训练。
主要实验结果
研究在四个数据集上进行了广泛的实验,评估指标包括点击率预测的AUC、GAUC、Accuracy,以及Top-K推荐的NDCG@K和Hits@K。结果表明,KGCE方法显著优于所有对比的基线模型。
具体数据支持如下: * 整体性能领先:在AUC指标上,KGCE在四个数据集上的平均相对提升达到3.28%,最高提升达6.20%(DBLP数据集从0.8895提升至0.9178)。在GAUC指标上,平均提升3.85%,最高提升8.46%(Yelp数据集)。在Accuracy指标上,平均提升2.83%,最高提升4.10%(Yelp数据集)。在NDCG@10和Hits@10指标上,KGCE在DBLP和Foursquare数据集上也展现出明显的优势。 * 消融实验验证核心组件:通过移除“置信网络”模块的对比实验,直接证明了该组件的有效性。例如,在Yelp数据集上,使用置信网络使Acc提升2.82%,AUC提升0.37%,GAUC提升1.84%。在YAGO数据集上,Acc的提升更是高达11.47%。这些数据强有力地支撑了置信感知机制对于提升模型性能的关键作用。 * 参数敏感性分析:研究详细分析了学习率、L2正则化系数λ2以及嵌入损失与推荐损失之间的权衡系数λ1对模型性能的影响。结果表明,不同数据集上的最优参数设置有所不同,这为后续研究者应用该方法提供了重要的调参参考。例如,在Foursquare数据集上,较大的λ1(100)能取得最佳效果,表明在该数据集上加强知识图谱嵌入任务与推荐任务的关联至关重要。
逻辑关系:这些实验结果环环相扣。首先,全面的性能对比证明了KGCE整体框架的优越性。其次,消融实验的结果将性能提升归因于新引入的“置信感知”机制,而非其他因素,强化了研究的创新点。最后,参数分析确保了实验结果的可靠性和方法的可复现性。所有结果共同指向一个结论:在知识图谱嵌入中显式地建模信息传播的置信度,能够有效提升推荐系统的表现。
研究结论与价值
本研究提出并验证了KGCE这一全新的、面向推荐的知识图谱置信感知嵌入方法。其核心结论是:通过引入“信息聚合图”的概念和“动态置信特征聚合”机制,能够有效解决知识图谱中实体与关系特征聚合过程的复杂性、动态性和不平衡性问题。该方法首次在知识图谱中考虑了属性置信度,用于学习更精确的实体和关系表示。
科学价值与应用价值: 1. 理论创新:KGCE为知识图谱表示学习领域引入了“置信感知”的新视角,突破了传统方法仅关注结构相似性或简单注意力的局限。它提供了一种量化信息传播可靠性、并据此调整嵌入学习过程的理论框架。 2. 方法创新:提出的“聚合图”建模方式更贴近真实网络的信息传播模式,置信网络的设计则为动态权重分配提供了新颖的解决方案。这些方法上的创新对图神经网络、异质信息网络建模等方向有启发意义。 3. 应用价值:KGCE显著提升了基于知识图谱的推荐系统的性能,为解决推荐系统中的数据稀疏性和冷启动问题提供了更强大的工具。其在多个真实数据集上的优异表现证明了其在实际应用中的潜力和有效性。
研究亮点
其他有价值的内容
研究还提供了详尽的基线方法对比(包括RKGE、RippleNet、MCRec、MKR、TGNN、AGRE、HGCL等),并对未与某些类型方法(如纯文本嵌入、大语言模型方法)比较的原因进行了说明,体现了实验设计的严谨性。此外,代码可用性的声明也符合开源科学的精神,有利于学术共同体对该工作的验证与发展。