跨域点击率预测的显式特征增强方法研究

作者及机构
该研究由Xu Chen、Zida Cheng、Jiangchao Yao等来自阿里巴巴集团和上海交通大学（Shanghai Jiao Tong University）的研究团队完成，并于2024年发表于《Proceedings of the Web Conference 2024》（会议论文）。

学术背景

研究领域与动机
点击率预测（CTR, Click-Through Rate Prediction）是现代推荐系统、搜索引擎和在线广告的核心技术。然而，单一领域的CTR模型常受数据稀疏性（Data Sparsity）限制，即用户行为数据不足导致模型性能受限。为此，跨域CTR预测（CDCTR, Cross-Domain CTR Prediction）成为研究热点，其核心是通过关联领域（源领域）的数据提升目标领域的预测性能。

现有CDCTR方法主要分为两类：
1. 联合训练（Joint Training）：通过参数共享（Parameter-Sharing）隐式传递知识，但存在优化冲突（Optimization Conflict）问题。
2. 预训练-微调（Pre-training & Fine-tuning）：分阶段训练，但依赖“超级领域”（Super Domain）数据且用户兴趣表征静态化。

本研究提出跨域增强网络（CDANet），通过显式特征翻译（Feature Translation）和增强（Augmentation）解决上述局限性，实现更灵活高效的知识迁移。

研究方法与流程

1. 翻译网络（Translation Network）

目标：学习源领域与目标领域潜在特征的映射关系。
流程：
- 嵌入层（Embedding Layer）：对输入特征（用户特征、商品特征等）进行编码，重叠特征字段共享子嵌入，非重叠字段独立嵌入。
- 特征提取器（Feature Extractor）：可选共享MLP或混合专家（MoE, Mixture of Experts）模块，提取高阶交互特征。
- 跨监督特征翻译器（Cross-Supervised Feature Translator）：
- 通过正交映射约束（Orthogonal Mapping Constraint）保持潜在特征空间的结构一致性。
- 引入交叉监督损失（Cross-Supervision Loss），确保目标领域样本翻译后保留原始标签语义。

创新方法：
- 设计了动态上下文感知的用户兴趣迁移机制，克服静态兴趣表征的缺陷。
- 无需源领域与目标领域的用户或商品重叠，降低对“超级领域”的依赖。

2. 增强网络（Augmentation Network）

目标：利用翻译后的特征增强目标领域模型训练。
流程：
- 参数迁移：复用翻译网络的嵌入层、特征提取器和翻译器参数。
- 特征增强：将目标领域原始潜在特征与翻译特征拼接，作为增强输入。
- 优化目标：仅使用目标领域CTR损失进行微调，避免多目标优化冲突。

主要结果

实验验证

数据集：
- 公开基准：Amazon（电影与书籍）、Taobao（广告与推荐）。
- 工业数据集：淘宝APP的Image2Product检索场景。

性能对比：
- 公开基准：CDANet在AUC（Area Under Curve）指标上显著优于基线模型（如MMoE、PLE），例如在Amazon电影域提升6.2%，在Taobao广告域提升0.39%。
- 工业部署：
- 在线A/B测试显示，CDANet带来绝对CTR提升0.11点，成交额（Deal）增长0.64%，总交易额（GMV）提升1.26%。
- 对高价商品的曝光质量（EPQ Score）提升更显著（最高3.62%），验证其对稀疏数据的增强效果。

案例分析：
- 如图2所示，CDANet在商品检索中更精准匹配用户意图。例如，用户查询“旺仔牛奶”时，基线模型误返回“旺仔糖果”，而CDANet正确过滤无关结果。

结论与价值

科学意义：
- 提出首个显式特征翻译与增强的CDCTR框架，解决了静态兴趣迁移和超级领域依赖问题。
- 通过正交约束和交叉监督，确保翻译特征的语义一致性，为跨域学习提供新思路。

应用价值：
- 已在淘宝APP图像检索场景部署，服务数亿用户，提升商业指标。
- 开源代码与公开基准实验结果可复现，推动行业技术发展。

研究亮点

1. 显式知识迁移：通过特征翻译与增强实现跨域信息传递，优于隐式参数共享方法。
   
2. 动态兴趣建模：上下文感知的翻译机制适应目标领域多样化场景。
   
3. 工业兼容性：支持与现有技术（如MoE）灵活结合，适用于不同数据场景。
   

局限与展望：未来可探索不可迁移特征的过滤机制，进一步提升翻译效率。

（注：实际报告中可补充具体数据图表和算法伪代码的解析以增强专业性。）