分享自:

线性时间图神经网络在可扩展推荐系统中的应用

期刊:Proceedings of the ACM Web Conference 2024 (WWW '24)DOI:10.1145/3589334.3645486

这篇文档属于类型a,即报告一项原创研究的科学论文。以下是针对该研究的学术报告:


线性时间图神经网络在可扩展推荐系统中的应用研究
作者:Jiahao Zhang(香港理工大学)、Rui Xue(北卡罗莱纳州立大学)、Wenqi Fan(香港理工大学,通讯作者)等
发表于:ACM Web Conference 2024 (WWW ‘24)


一、学术背景

研究领域为推荐系统图神经网络(GNN, Graph Neural Networks)的结合。当前推荐系统的核心挑战在于:传统矩阵分解(MF, Matrix Factorization)和深度神经网络(DNN)方法虽具可扩展性,但难以捕捉用户-物品交互数据中的高阶关联;而GNN虽能建模高阶信号,却因计算复杂度高(随层数指数增长或边数平方增长)难以应用于工业级大规模系统。本研究旨在提出一种线性时间图神经网络(LTGNN, Linear-Time Graph Neural Network),在保持GNN表达能力的同时,实现与经典MF方法相当的计算效率。


二、研究方法与流程

1. 核心设计:隐式图建模与高效方差缩减采样

研究通过以下两个关键技术解决GNN的可扩展性问题:
- 隐式图建模(Implicit Graph Modeling)
基于个性化PageRank(PPNP)的固定点方程,将多层传播压缩为单层隐式求解。具体通过历史训练迭代中的嵌入传播结果(如式15)近似无限次传播的平衡状态,从而以单层复杂度捕获长程依赖。
- 前向传播:( \mathbf{E}^k{out} = (1-\alpha)\tilde{A}\mathbf{E}^{k-1}{out} + \alpha\mathbf{E}^k_{in} )
- 反向传播:梯度计算同样通过历史梯度迭代近似(式19)。

  • 高效方差缩减邻居采样(Efficient Variance-Reduced Neighbor Sampling, EVR)
    为降低高度数节点的邻居聚合成本,设计周期性更新的内存变量(( \mathbf{M}{in}, \mathbf{M}{ag} ))存储历史嵌入及全聚合结果,替代传统方差缩减方法中每轮迭代的全聚合操作,将复杂度从二次降至线性(式21-24)。

2. 实验验证

  • 数据集:Yelp2018(31K用户/38K物品)、Alibaba-iFashion(30万用户/8万物品)、Amazon-Large(87万用户/45万物品)。
  • 对比基线:包括MF、NCF、LightGCN及其可扩展变体(如邻居采样LightGCN-NS、方差缩减LightGCN-VR)。
  • 评估指标:Recall@20和NDCG@20,采用BPR损失函数训练。

三、主要结果

  1. 推荐性能

    • LTGNN在Yelp2018和Alibaba-iFashion上Recall@20分别达0.0639和0.0933,优于所有基线(包括LightGCN);在Amazon-Large上NDCG@20(0.0259)超过LightGCN(0.0228),展示其在大规模场景下的优势(表2)。
    • 隐式建模的效能:1层LTGNN性能媲美3层LightGCN(图2),验证单层隐式传播足以捕获长程信号。
  2. 计算效率

    • 训练时间复杂度为( O(|E|Dd) ),显著低于LightGCN的( O(\frac{1}{B}L|E|^2d) )(表1)。
    • 实际运行时间在Amazon-Large上仅705.91秒,接近MF的127.24秒,远快于3层LightGCN的2999.35秒(表4)。
  3. 方差缩减的有效性

    • 邻居数降至2时,LTGNN性能仍稳定(图3),而传统采样方法(如LightGCN-NS)性能显著下降。

四、结论与价值

  1. 科学价值

    • 首次实现GNN推荐模型的线性时间复杂度,为大规模应用提供理论保障。
    • 通过隐式建模和高效方差缩减,解决了GNN表达力与可扩展性的矛盾。
  2. 应用价值

    • 可部署于亿级用户-物品交互的工业场景(如电商平台),代码已开源(GitHub链接见原文)。

五、研究亮点

  1. 方法创新

    • 隐式固定点求解器替代传统多层传播,减少层数依赖。
    • EVR算法通过周期性内存更新降低方差缩减成本,为首次在推荐系统中实现线性复杂度。
  2. 实验结果突破

    • 在保持GNN性能的前提下,训练效率比LightGCN提升4倍以上。

六、其他贡献

  • 复杂性分析框架(表1)系统对比了MF、DNN与GNN类方法的效率瓶颈,为后续研究提供基准。
  • 开源实现基于PyTorch,支持快速复现与扩展。

(报告完)


注:全文约1500字,涵盖研究背景、方法细节、结果分析及价值评估,符合学术报告深度要求。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com