分享自:

M3OE:多领域多任务混合专家推荐框架

期刊:SIGIR '24DOI:10.1145/3626772.3657686

(根据文档内容判断,该文档属于类型a:单篇原创性研究论文的学术报告)


M3OE:跨领域多任务专家混合推荐框架的学术报告

一、研究团队与发表信息
本研究的核心作者包括Zijian Zhang(吉林大学/香港城市大学)、Shuchang Liu(快手科技)、Xiangyu Zhao(香港城市大学,通讯作者)等,团队由吉林大学、香港城市大学、快手科技及西安交通大学的研究人员联合组成。论文发表于SIGIR’24(第47届国际ACM信息检索研究与发展会议),会议时间为2024年7月,全文共10页,代码已开源(GitHub链接见原文)。

二、学术背景与研究目标
1. 科学领域:本研究属于推荐系统(Recommender Systems)领域,具体聚焦于多领域推荐(Multi-Domain Recommendation, MDR)多任务推荐(Multi-Task Recommendation, MTR)的交叉问题。
2. 研究动机:现有方法通常单独处理MDR或MTR,但实际推荐场景往往同时涉及多领域(如电影、短视频、电商等)和多任务(如点击率、点赞率预测)。作者提出“领域-任务交错效应(MDMT Seesaw Problem)”:跨领域知识迁移策略在不同任务间泛化性差,而多任务优化策略在跨领域时失效。
3. 目标:开发首个自适应的多领域多任务(Multi-Domain Multi-Task, MDMT)推荐框架,通过解耦学习和动态融合机制解决上述挑战。

三、研究流程与方法论
研究分为三大核心模块,具体流程如下:

  1. 领域表征提取层(Domain Representation Extraction Layer)

    • 输入:用户、物品及上下文特征(如MovieLens中的年龄、KuaiRand中的交互标签)。
    • 处理
      • 设计领域特定权重矩阵(( \mathbf{W}d ))和共享权重矩阵(( \mathbf{W}{sh} )),通过逐元素乘法(( \hat{\mathbf{W}}_d = \mathbf{W}d \otimes \mathbf{W}{sh} ))结合领域共性与特性。
      • 引入领域无关映射网络(( f_{da} ))消除领域间噪声,生成统一表征空间的特征(式2)。
    • 创新点:首次在MDMT场景中提出领域共享与特定信息的显式解耦建模。
  2. 多视角专家学习层(Multi-View Expert Learning Layer)

    • 核心结构
      • 共享专家模块(S):通过( N )个专家网络(式3)学习跨领域、跨任务的共性知识,采用门控融合机制(式4)动态加权。
      • 领域专家模块(D):每个领域分配独立专家,通过权重( \beta_d )平衡当前领域与其他领域信息(式5)。
      • 任务专家模块(T):每个任务分配独立专家,通过权重( \beta_t )控制任务特定与共享信息的融合(式6)。
    • 两级融合机制
      • 第一级:领域内或任务内专家输出聚合。
      • 第二级:通过权重( \alpha_d, \alpha_t )平衡共享、领域、任务三模块贡献(式7)。
    • 自动化优化:利用AutoML技术动态调整融合权重(式10),实现端到端双层级优化(式11)。
  3. 多领域多任务预测层(MDMT Objective Prediction Layer)

    • 为每个领域-任务对(共( D \times T )个)设计独立MLP预测塔(式8-9),输出通过Sigmoid函数归一化。
    • 损失函数:二元交叉熵(BCE)联合优化所有领域任务目标(式12)。

四、实验结果与发现
研究在MovieLens-1M(电影推荐)和KuaiRand-Pure(短视频推荐)两个基准数据集上验证,主要结果如下:

  1. 性能对比

    • 对比基线包括MLP(单领域单任务)、MMOE(多任务)、STAR(多领域)及M2M(现有MDMT方法)。
    • M3OE在MovieLens上全面领先,平均AUC提升2.54%(最高11.12%);在样本不平衡的KuaiRand-Pure中,虽领域2(占90%数据)性能持平,但领域1/3显著提升(表2)。
  2. 可视化分析

    • 图3展示领域专家(D)和任务专家(T)输出分布的差异:领域模块主导融合结果,而任务模块呈现任务间平衡特性(如KuaiRand领域2任务1的( \beta_t = 0.7342 ))。
  3. 消融实验

    • 移除AutoML权重优化导致AUC下降0.65%(MovieLens),验证自适应性关键作用(表3)。
    • 串联模块(concat)效果劣于加权求和,证明统一表征空间的重要性。

五、结论与价值
1. 理论贡献
- 首次提出并形式化“MDMT Seesaw Problem”,揭示领域与任务交织的复杂性。
- 设计解耦的专家模块与两级融合机制,为MDMT推荐提供通用框架。
2. 应用价值
- 在快手等平台可同时优化多场景(如不同App标签页)多目标(点击、播放时长)推荐,减少人工调参成本。
3. 方法论创新
- 融合AutoML的动态权重优化,推动推荐系统从静态架构向自适应性演进。

六、研究亮点
1. 首创性:首个针对性解决MDMT推荐的自适应框架。
2. 技术突破
- 三模块解耦设计(共享、领域、任务)实现细粒度知识迁移。
- 两级融合机制支持灵活的信息聚合控制。
3. 可复现性:代码开源与双盲实验设计保障结果可靠性。

七、其他价值
研究通过案例(如用户Mike跨设备推荐偏好迁移)生动说明MDMT seesaw问题,增强工业界对复杂推荐场景的认知。实验部分包含超参分析(图4),揭示不同数据对专家数量( N )的敏感性,为后续研究提供调参借鉴。


(注:本报告严格遵循原文术语与数据,如“AUC”“AutoML”等未翻译,关键方法首次出现时标注英文原名。)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com