类型a： LLMEmb：基于大语言模型的序列推荐嵌入生成方法研究报告
一、作者与发表信息
本研究由以下团队完成：
- Qidong Liu（西安交通大学自动化科学与工程学院/MoeKLinns实验室、香港城市大学）
- Xian Wu*（腾讯优图实验室Jarvis研究中心）
- Wanyu Wang, Yejing Wang, Yuanshao Zhu, Xiangyu Zhao*（香港城市大学）
- Feng Tian*（西安交通大学计算机科学与技术学院/MoeKLinns实验室）
- Yefeng Zheng（腾讯优图实验室、西湖大学医学人工智能实验室）
研究以预印本形式发布于arXiv平台（编号：2409.19925v2，2024年12月），尚未正式发表于期刊。
二、学术背景
研究领域：序列推荐系统（Sequential Recommender Systems, SRS），属于人工智能与推荐系统的交叉领域。
背景与动机：
传统SRS（如SASRec、BERT4Rec）依赖用户交互历史预测下一项兴趣物品，但面临长尾问题（long-tail problem）——低流行度物品因交互稀疏导致嵌入质量差，推荐效果不佳（如图1a所示）。大语言模型（Large Language Model, LLM）能通过文本语义关系建模物品关联性（如图1c），但其通用性与推荐领域的适配性存在语义鸿沟（semantic gap）和语义损失（semantic loss）（如图2）。
研究目标：
开发LLMEmb方法，通过两阶段训练（监督对比微调SCFT与推荐适应训练RAT），生成兼顾语义与协同信号的物品嵌入，提升SRS在长尾场景下的性能。
三、工作流程
1. 监督对比微调（Supervised Contrastive Fine-Tuning, SCFT）
- 输入对象：物品的文本属性（如名称、类别），构造提示模板（如“POI属性：是”）。
- 处理流程：
- 数据增强：对物品属性随机丢弃（比例$r$）生成正样本对（公式3）。
- 对比学习：使用LLaMA-7B模型生成嵌入，通过对比损失（公式4）优化模型，使不同物品嵌入分离、相似属性物品嵌入聚合。
- 创新方法：属性级对比学习首次在推荐领域针对物品属性设计数据增强策略，增强LLM的细粒度区分能力。
2. 推荐适应训练（Recommendation Adaptation Training, RAT）
- 输入对象：SCFT生成的LLM嵌入（维度$d_{token}$）。
- 处理流程：
- 嵌入变换：先通过PCA降维至中间尺寸（如1536维），再经可训练适配器（公式6）映射为目标维度（如128维）。
- 协同信号注入：冻结LLM参数，联合训练适配器与SRS主干（如SASRec），采用二元交叉熵损失和对比对齐损失（公式7）。
- 创新方法：双阶段适配器（PCA+神经网络）在降维同时保留语义信息；冻结LLM策略避免语义损失。
3. 实验验证
- 数据集：Yelp、Amazon Beauty、Amazon Fashion，按交互频率划分长尾物品（后80%）。
- 基线模型：MELT（长尾SRS）、LLM2X、SAID、TSLRec（LLM增强SRS）。
- 评估指标：HR@10、NDCG@10，分整体与长尾组比较。
四、主要结果
- 性能提升（表1）：
- LLMEmb在Yelp数据集上HR@10较最佳基线提升12.7%（SASRec+LLMEmb: 0.6647 vs. LLM2X: 0.6415），长尾物品提升67.7%（0.2951 vs. 0.1760）。
- 消融实验（表2）显示SCFT和RAT的贡献率分别为9.1%和14.2%。
- 长尾缓解（图5）：
- 对交互频次1-4组的物品，LLMEmb的HR@10达0.1116，远超基线（SAID: 0.0180）。
- 嵌入分布修正（图6）：
- t-SNE可视化表明LLMEmb嵌入分布更均匀，克服传统SRS的聚类偏斜。
五、结论与价值
科学价值：
- 提出首个针对性解决SRS长尾问题的LLM嵌入生成框架，理论证明语义与协同信号的协同优化可行性。
应用价值：
- 生成的嵌入可无缝集成至任意SRS模型（如GRU4Rec、BERT4Rec），无推理开销增加，适合工业部署。
六、研究亮点
- 方法创新：
- SCFT首次将属性级对比学习引入推荐领域，填补LLM通用性与推荐特异性的鸿沟。
- RAT通过双阶段适配器实现语义保留与协同信号注入的平衡。
- 工程贡献：
- 开源代码（GitHub）提供完整实现，支持Llama等多种LLM基座。
七、其他亮点
- 超参分析（图4）：对齐损失权重$\alpha=1e^{-2}$时效果最佳，温度系数$\gamma$需调优以避免过拟合。
- 跨模型通用性：在GRU4Rec、BERT4Rec、SASRec上均取得稳定提升，验证方法普适性。
（注：因篇幅限制，部分细节简化，完整内容参见原文。）