学术报告：Legommenders——支持大语言模型的内容推荐系统库

一、作者与发表信息
本研究的核心作者包括香港理工大学的Qijiong Liu、Lu Fan以及通讯作者Xiao-Ming Wu。研究成果以论文形式发表于ACM Web Conference 2025的附属会议（WWW Companion ‘25），会议于2025年4月28日至5月2日在澳大利亚悉尼举行，论文标题为《Legommenders: A Comprehensive Content-Based Recommendation Library with LLM Support》。

二、学术背景与研究目标
1. 科学领域：本研究属于信息系统的推荐系统（Recommender Systems）领域，聚焦于内容推荐（Content-Based Recommendation）方向。
2. 研究动机：传统推荐系统依赖静态用户和物品ID的转导学习（Transductive Learning），存在冷启动问题（Cold Start Problem）和动态偏好适应不足的缺陷。现代推荐系统转向归纳学习（Inductive Learning），但现有工具库（如TorchRec、RecBole）普遍采用内容编码器与推荐模块解耦的设计，导致预训练嵌入与推荐场景不匹配。
3. 研究目标：开发支持端到端训练的推荐系统库Legommenders，实现内容编码器、行为模块和点击预测器的联合训练，并集成大语言模型（LLM）作为特征编码器和数据生成器。

三、研究流程与方法
1. 系统架构：
- 核心模块：
- 数据集处理器（Dataset Processor）：支持15种多模态数据集（如MIND、Goodreads），通过统一格式转换工具Unitok处理数据。
- 内容编码器（Content Operator）：提供15种编码器，包括CNN、Attention、FastFormer及开源LLM（如BERT、LLaMA），支持LoRA微调以加速训练。
- 行为编码器（Behavior Operator）：包含8种序列建模方法（如GRU、Attention）。
- 点击预测器（Click Predictor）：支持9种交互模型（如Dot Product、DCN）。
- 创新设计：
- 联合训练机制：内容编码器与下游模块可联合优化，避免解耦设计的语义偏差。
- 缓存流水线（Caching Pipeline）：预计算用户和物品嵌入，推理速度提升最高达50倍。

1. 实验设计：
   
   • 模型组合：通过配置文件自由组合模块，构建超过1,000种模型，其中95%为未发表的新模型。
     
   • 评估任务：
     
     • 匹配任务（Matching Task）：从K+1候选物品中识别正样本，目标函数为负对数似然。
       
     • 排序任务（Ranking Task）：预测用户点击概率，损失函数为均方误差。
       
   • 数据集：覆盖新闻（MIND）、电影（MovieLens）、书籍（Goodreads）等领域，支持LLM生成的数据增强版本（如GPT-Augmented MIND）。
     

四、主要结果与逻辑链条
1. 性能对比：
- LLM集成优势：使用LLaMA作为内容编码器的模型（如DIRE）在MIND数据集上AUC达68.50，显著高于传统模型（如NAML的61.75）。
- 数据增强效果：GPT增强数据训练的模型（如DCNText）AUC提升3.14（65.77 vs. 62.63）。
- 端到端训练优势：联合训练模型（如PLM-NR）优于解耦设计（AUC 64.08 vs. 63.88）。

1. 技术贡献验证：
   
   • 缓存加速：在重复用户/物品场景下，推理速度提升显著。
     
   • 模块灵活性：通过替换行为编码器（如Pooling→Attention），模型性能可针对性优化。
     

五、结论与价值
1. 科学价值：
- 提出首个支持端到端训练的内容推荐库，填补了现有工具（如Ducho）的空白。
- 验证了LLM在推荐系统中的双重作用（特征编码与数据生成）。
2. 应用价值：
- 为研究者提供快速实验平台，支持1,000+模型组合与15种数据集。
- 开源库（GitHub: legommenders/legommenders）包含完整代码与文档。

六、研究亮点
1. 方法创新：
- 模块化设计支持自由组合，远超现有库（如RecBole仅150+模型）。
- 首创LLM微调与缓存流水线的协同优化方案。
2. 发现创新：
- 揭示LLM微调（如LoRA）在推荐系统中的高效性（100倍训练加速）。
- 证明数据增强与联合训练的协同效应（AUC提升3+）。

七、其他价值
- 标准化贡献：提供统一的评估协议与15个数据集基准，推动内容推荐领域的可复现性研究。
- 跨领域意义：为多模态推荐（如文本、图像）与生成式推荐（如LLM生成候选）提供基础设施。

（注：全文基于论文原文，术语如LoRA（Low-Rank Adaptation）、AUC（Area Under Curve）等均保留英文缩写以符合学术惯例。）