分享自:

基于大语言模型的推荐表示学习

期刊:Proceedings of the ACM Web Conference 2024 (WWW '24)DOI:10.1145/3589334.3645458

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


基于大语言模型的推荐系统表征学习研究:RLMRec框架

1. 作者与发表信息

本研究由Xubin Ren(香港大学)、Wei Wei(香港大学)、Lianghao Xia(香港大学)、Lixin Su(百度)、Suqi Cheng(百度)、Junfeng Wang(百度)、Dawei Yin(百度)及通讯作者Chao Huang(香港大学)合作完成,发表于ACM Web Conference 2024 (WWW ‘24),会议时间为2024年5月13-17日,新加坡。

2. 研究背景与目标

科学领域:本研究属于推荐系统(Recommender Systems)与自然语言处理(NLP)的交叉领域,聚焦于如何利用大语言模型(Large Language Models, LLMs)提升基于协同过滤(Collaborative Filtering, CF)的推荐性能。

研究动机
- 现有问题:传统基于图神经网络(Graph Neural Networks, GNNs)的推荐系统(如LightGCN、NGCF)依赖ID数据,忽略了用户和物品的文本信息(如评论、描述),导致表征学习(Representation Learning)信息不足;此外,隐式反馈数据(Implicit Feedback)存在噪声(如误点击、流行度偏差),影响模型鲁棒性。
- LLMs的潜力与挑战:尽管LLMs(如GPT-4、LLaMA)在文本理解上表现优异,但直接应用于推荐系统面临可扩展性差、文本依赖导致的幻觉(Hallucination)问题,以及提示输入(Prompt Input)的局限性。

研究目标:提出RLMRec框架,通过表征学习桥接ID-based推荐模型与LLMs,实现以下目标:
1. 利用LLMs增强用户和物品的语义表征(Semantic Representations);
2. 通过跨视图对齐(Cross-view Alignment)融合协同关系信号与LLMs的语义空间;
3. 基于互信息最大化(Mutual Information Maximization)理论提升表征质量。

3. 研究流程与方法

流程一:用户与物品画像生成(Profiling via Reasoning)
- 输入数据:物品的标题、描述、属性(如Amazon-Book的书籍摘要)及用户评论。
- LLMs应用:设计系统提示(System Prompt)和生成提示(Generation Prompt),通过ChatGPT(GPT-3.5-turbo)生成结构化JSON格式的画像。例如,物品画像需总结“吸引哪类用户”,用户画像需分析“偏好哪类物品”。
- 创新点:引入推理过程(Reasoning)以减少LLMs的幻觉问题,确保生成内容的准确性。

流程二:语义表征与协同表征对齐
- 语义编码:使用文本嵌入模型(如OpenAI的text-embedding-ada-002)将画像转化为固定维度的语义表征(Semantic Embeddings)。
- 对齐方法:提出两种策略:
1. 对比对齐(Contrastive Alignment):通过余弦相似度最大化正样本对(用户/物品的协同表征与语义表征)的互信息。
2. 生成对齐(Generative Alignment):借鉴掩码自编码器(Masked Autoencoder, MAE),用协同表征重建被掩码的语义表征。

流程三:模型无关的联合优化
- 损失函数:结合推荐模型的原损失(如BPR损失)与互信息最大化损失(Linfo),总损失为:
[ \mathcal{L} = \mathcal{L}
{\text{rec}} + \mathcal{L}_{\text{info}}
] - 训练细节:批量大小4096,学习率1e-3,使用Adam优化器,早停策略基于验证集性能。

4. 主要实验结果

数据集:在Amazon-Book、Yelp、Steam三个公开数据集上测试,核心指标为Recall@N和NDCG@N。

关键发现
1. 性能提升:RLMRec显著优于基线模型(如LightGCN、SGL),最高提升6.8%(Recall@20)。生成对齐(RLMRec-gen)在预训练场景表现更优,对比对齐(RLMRec-con)对噪声数据更具鲁棒性。
2. 抗噪声能力:在注入5%-25%噪声的实验中,RLMRec-con的NDCG@20下降幅度比基线模型低3.2%-5.5%。
3. 语义对齐的有效性:消融实验显示,打乱语义表征会导致性能下降,验证了跨视图对齐的必要性。

5. 研究结论与价值

科学价值
- 理论层面:首次通过互信息最大化证明了文本信号对表征学习的优化作用。
- 方法层面:提出模型无关的框架,可灵活适配现有推荐模型(如GNNs、自监督学习模型)。

应用价值
- 为推荐系统引入LLMs的语义理解能力,解决ID-based模型的冷启动和噪声敏感问题。
- 开源代码(GitHub)和预训练参数可支持工业级应用。

6. 研究亮点

  1. 创新性方法:首次将LLMs的推理能力用于生成用户/物品画像,并通过对比/生成对齐实现语义与协同信号的双向增强。
  2. 理论贡献:建立了文本信号与表征质量之间的互信息理论框架。
  3. 实用性验证:在多个真实场景数据集上验证了框架的鲁棒性和可扩展性。

7. 其他有价值内容

  • 案例研究:RLMRec能捕捉用户的长距离协同关系(如3跳以上的相似用户),而传统模型仅依赖局部图结构。
  • 效率分析:RLMRec-gen的每轮训练时间仅比基线模型增加10%-20%,适合大规模部署。

此研究为推荐系统与LLMs的结合提供了新范式,未来可进一步探索LLMs在可解释推荐(Explainable Recommendation)中的应用。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com