这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:
本研究由Jian Jia(快手科技)、Yipei Wang(东南大学)等来自Kuaishou Technology和Southeast University的研究团队完成,发表于2025年AAAI(Association for the Advancement of Artificial Intelligence)会议。
研究领域:推荐系统(Recommendation Systems, RS)与大型语言模型(Large Language Models, LLMs)的交叉领域。
研究动机:当前推荐系统主要依赖ID嵌入(ID embedding)捕捉用户-物品的潜在关联,但忽视了物品文本描述的语义信息,导致冷启动(cold-start)和长尾(long-tail)场景表现不佳。LLMs具备强大的文本理解与推理能力,但直接将其应用于推荐系统面临计算复杂度高、领域知识迁移困难(如“灾难性遗忘”,catastrophic forgetting)等问题。
研究目标:提出LEARN(LLM-driven Knowledge Adaptive Recommendation)框架,通过融合LLMs的开放世界知识(open-world knowledge)与推荐系统的协同知识(collaborative knowledge),提升推荐性能。
LEARN采用双塔结构(twin-tower),包含用户塔(user tower)和物品塔(item tower),每塔由内容提取模块(CEX)和偏好对齐模块(PAL)组成:
- CEX模块:冻结预训练LLM(如Baichuan2-7B)参数,将其作为物品文本编码器,生成内容嵌入(content embedding)。
- PAL模块:通过12层Transformer(基于BERT-base配置)将内容嵌入映射到推荐任务所需的用户/物品嵌入(embedding),采用因果注意力(causal attention)建模序列依赖。
在Amazon Review的6类数据集上,LEARN在Recall@10指标平均提升13.95%,显著优于ID嵌入(如GRU4Rec)、ID-文本混合(如FDSA)和纯文本方法(如RecFormer)。例如:
- Instruments类:Recall@10提升17.87%(从0.1052至0.1240)。
- Games类:Recall@10提升29.45%(从0.1039至0.1345)。
科学价值:
1. 提出首个通过LLM知识迁移解决推荐领域泛化性问题的框架,为LLMs与推荐系统的结合提供新范式。
2. 证明冻结LLM参数+轻量适配器的有效性,避免灾难性遗忘的同时降低计算负担。
应用价值:
- 在工业级推荐场景中验证了可行性,尤其提升冷启动和长尾物品的推荐效果。
- 为替代传统ID嵌入提供了语义嵌入(semantic embedding)的实践方向。
此报告全面涵盖了研究的背景、方法、结果与意义,可供学术界与工业界研究者参考。