分享自:

MINET:跨领域点击率预测的混合兴趣网络

期刊:Proceedings of the 29th ACM International Conference on Information and Knowledge ManagementDOI:10.1145/3340531.3412728

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


混合兴趣网络(MINET)在跨域点击率预测中的应用研究

作者及机构
本研究的核心团队来自阿里巴巴集团智能营销平台,主要作者包括Wentao Ouyang、Xiuwu Zhang、Lei Zhao、Jinmei Luo、Yu Zhang、Heng Zou、Zhaojie Liu和Yanlong Du。研究成果发表于2020年10月的ACM国际信息与知识管理会议(CIKM ‘20),论文标题为《MINET: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction》。

学术背景
点击率预测(Click-Through Rate Prediction, CTR)是在线广告系统的核心任务,直接影响广告排序策略和收费模型。传统研究集中于单域(如仅广告数据)场景,通过特征交互(如Factorization Machines)、用户行为历史(如Deep Interest Network)或上下文信息(如Deep Spatio-Temporal Network)建模。然而,广告常与自然内容(如新闻)混合展示,这为跨域(Cross-Domain)CTR预测提供了机会。本研究的目标是通过利用源域(新闻)的辅助数据提升目标域(广告)的CTR预测性能,解决数据稀疏性和冷启动问题。

研究流程与方法
1. 问题定义与数据准备
- 数据集:研究使用UC头条(UC Toutiao)的新闻-广告日志(6天训练、1天验证、1天测试)和Amazon的书籍-电影评分数据(按时间划分训练/验证/测试集)。特征包括用户ID、年龄、新闻/广告标题等。
- 跨域挑战:需解决源域与目标域特征维度差异、噪声过滤、知识迁移等问题。

  1. 模型设计(MINET)

    • 三类用户兴趣建模
      • 长期跨域兴趣:通过用户画像特征(如性别、城市)的嵌入向量拼接(( p_u )),基于双域数据联合学习。
      • 源域短期兴趣:通过注意力机制(Item-Level Attention)聚合用户近期点击的新闻(( a_s )),引入转移矩阵(( \mathbf{M} ))实现新闻到广告的知识迁移。
      • 目标域短期兴趣:类似地聚合近期点击广告(( a_t )),直接建模与目标广告的交互。
    • 双层注意力机制
      • 项目级注意力:动态筛选与目标广告相关的新闻/广告(如公式4和6),通过ReLU激活函数和分解矩阵(( \mathbf{M} = \mathbf{M}_1 \times \mathbf{M}_2 ))降低计算复杂度。
      • 兴趣级注意力:自适应调整三类兴趣的权重(( v_u, v_s, v_t )),通过指数激活函数解决维度差异问题(公式9)。
  2. 训练与优化

    • 损失函数:结合目标域(广告)和源域(新闻)的交叉熵损失(( loss = loss_t + \gamma loss_s )),通过Adagrad优化器训练。
    • 参数设置:嵌入维度( D=10 ),隐藏层维度( D_h=128 )(公司数据)或64(Amazon数据),批处理大小根据数据集调整。
  3. 实验验证

    • 基线对比:包括单域模型(LR、FM、DIN、DSTN)和跨域模型(CCCFNet、MV-DNN、CoNet)。
    • 评估指标:AUC(Area Under Curve)和LogLoss,MINET在公司数据集上AUC达0.7326(提升4.12%),显著优于基线。
    • 消融实验:验证双层注意力的必要性(仅项目级AUC+1.5%,仅兴趣级+2.1%),以及指数激活函数的优势(优于Sigmoid)。

主要结果
1. 性能提升:MINET在UC头条的在线A/B测试中,CTR提升4.12%,已部署至主流量服务。
2. 注意力机制有效性:项目级注意力能动态分配权重(如娱乐新闻对游戏广告的权重更高);兴趣级注意力可缓解维度差异(如长期兴趣( p_u )的权重随目标广告变化)。
3. 跨域知识迁移:通过联合训练和转移矩阵,新闻域的语义信息显著提升了广告冷启动场景的预测效果。

结论与价值
1. 科学价值:首次提出联合建模长/短期跨域兴趣的框架,为多域数据融合提供新思路。
2. 应用价值:解决了广告场景中的数据稀疏性问题,尤其适用于新闻feed等混合内容平台。
3. 方法论创新:双层注意力机制和动态权重设计可扩展至其他推荐系统任务。

研究亮点
1. 三层兴趣建模:首次同时捕获跨域长期兴趣、源域短期兴趣和目标域短期兴趣。
2. 可解释性:注意力权重可视化显示模型能捕捉新闻与广告的潜在关联(如娱乐新闻→游戏广告)。
3. 工程实践:通过矩阵分解和参数共享降低计算成本,适合工业级部署。

其他发现
- 在电商场景(Amazon数据)中,长期兴趣的贡献高于短期兴趣,与广告场景相反,说明领域特性需针对性建模。
- 开源代码(GitHub)和公开数据集促进了跨域研究的可复现性。


该研究通过创新的模型设计和严谨的实验验证,为跨域CTR预测树立了新的基准,兼具学术前瞻性和工业实用性。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com