这篇文档属于类型a——报告了一项原创性研究。以下是针对该研究的学术报告:
跨领域推荐系统的新范式:基于三重序列学习的Tri-CDR框架
作者及机构
本研究由Haokai Ma(山东大学软件学院)、Ruobing Xie(腾讯微信)、Lei Meng(山东大学软件学院及山东省产业技术研究院)、Xin Chen、Xu Zhang、Leyu Lin和Jie Zhou(均为腾讯微信)合作完成,发表于2018年ACM会议(具体期刊信息未明确,DOI未公开)。
学术背景
研究领域与动机
该研究属于跨领域推荐系统(Cross-Domain Recommendation, CDR)领域,旨在通过利用用户在源领域(source domain)和目标领域(target domain)的行为关联性,缓解目标领域的数据稀疏性问题。传统CDR方法通常仅建模源领域与目标领域的二元关系,而忽略了用户混合行为序列(mixed behavior sequence)中蕴含的全局偏好信息。为此,作者提出Tri-CDR框架,首次将源序列、目标序列与混合序列(按时间顺序合并的跨领域行为)联合建模,以全面捕捉用户兴趣。
核心挑战
1. 信息筛选:如何从源领域和混合序列中提取与目标领域相关的有效知识,避免噪声干扰。
2. 三元关系建模:如何同时捕捉三重序列间的粗粒度相似性与细粒度差异性。
3. 框架通用性:如何设计兼容不同单领域序列编码器的模型无关(model-agnostic)方案。
研究方法与流程
1. 三重序列编码(Triple Sequence Encoding)
- 输入数据:
- 源领域行为序列 ( S_S = {d^S_1, …, d^S_p} )
- 目标领域行为序列 ( S_T = {d^T_1, …, d^T_q} )
- 混合序列 ( S_M = {d^M1, …, d^M{p+q}} )(按时间排序的跨领域行为)。
- 序列编码器:采用基于自注意力机制(self-attention)的SASRec模型,独立编码三类序列的隐藏表示 ( H_S, H_T, H_M )。
2. 三重跨领域注意力(Triple Cross-domain Attention, TCA)
- 功能:通过注意力机制筛选与目标领域偏好和全局兴趣相关的信息。
- 实现:
- 对每个序列的隐藏表示 ( H ),计算注意力权重 ( \alpha ):
[ \alpha^S_i = \text{MLP}_a(h^T_q | h^S_i | h^S_i - h^T_q | h^S_i \odot h^Tq | h^M{p+q}) ] - 加权聚合得到序列表示 ( s_S, s_T, s_M )。
- 创新点:引入混合序列的最后行为嵌入 ( h^M_{p+q} ) 作为全局兴趣信号。
3. 三重对比学习(Triple Contrastive Learning, TCL)
- 粗粒度相似性建模(CSM):
- 通过对比损失(InfoNCE)拉近同一用户的三类序列表示,最大化互信息。
- 损失函数:
[ \mathcal{L}_{CSM} = \sum (\lambda1 \mathcal{L}{CL}(s_M, s_S) + \lambda2 \mathcal{L}{CL}(s_M, s_T) + \lambda3 \mathcal{L}{CL}(s_S, s_T)) ]
- 细粒度差异建模(FDM):
- 基于三元组损失(triplet loss)约束距离关系:
[ \mathcal{L}_{FDM} = \max{d(s_S, s_M) - d(s_S, s_T) + \gamma, 0} ] - 确保混合序列与源/目标序列的距离小于源-目标序列距离,保留领域多样性。
4. 训练策略
- 两阶段训练:
- 单领域预训练:分别用SASRec预训练源和目标领域模型。
- 跨领域微调:联合优化总损失 ( \mathcal{L} = \mathcal{L}{CTR} + \lambda{CSM}\mathcal{L}{CSM} + \lambda{FDM}\mathcal{L}_{FDM} )。
主要结果
实验设计
- 数据集:Amazon(玩具-游戏、图书-电影)和Douban(图书-音乐)的6种跨领域设置。
- 基线模型:包括单领域模型(GRU4Rec、SASRec、CL4SRec)和跨领域模型(DTCDR+、DASL+、C2DSR+)。
- 评估指标:NDCG@K、HR@K、AUC。
关键发现
性能优势:
- Tri-CDR在NDCG@10上平均提升4.52%(Amazon)和1.73%(Douban),显著优于基线(( p<0.05 ))。
- 在稀疏领域(如Amazon玩具)提升更显著(HR@10提升3.89%),验证其对数据稀疏的缓解能力。
消融实验:
- 移除TCA或FDM会导致性能下降(NDCG@10平均降低1.6%),证明二者对知识迁移的必要性。
通用性验证:
- 与GRU4Rec和CL4SRec结合时,Tri-CDR仍保持性能优势,表明其模型无关特性。
结论与价值
科学价值
1. 理论创新:首次提出三重序列学习框架,突破传统CDR的二元关系局限。
2. 方法创新:TCA和TCL机制为跨领域知识迁移提供了可解释的解决方案。
应用价值
- 可灵活适配现有推荐系统,兼容BERT4Rec等先进编码器,具备工业落地潜力。
研究亮点
- 三重序列建模:首次联合利用源、目标、混合序列,全面捕捉用户兴趣演化。
- 动态平衡机制:TCL通过CSM和FDM的协同优化,兼顾领域对齐与多样性。
- 开源与可复现:代码将在论文接受后公开,推动领域发展。
其他贡献
- 复杂度分析:Tri-CDR的时间复杂度与单领域SASRec相当(( O((L^2 + L + B)d|U|) )),适合大规模部署。
- 领域分析:揭示了混合序列在稀疏目标域中的关键作用,为后续研究提供方向。
(注:因篇幅限制,部分实验细节和图表未展开,完整内容可参考原文。)