这篇文档属于类型a，是一篇关于增量学习在推荐系统中应用的单篇原创研究报告。以下是详细的学术报告内容：

主要作者及机构
本研究的作者包括Xinni Zhang、Yankai Chen、Chenhao Ma、Yixiang Fang以及Irwin King。他们分别来自香港中文大学（The Chinese University of Hong Kong）和香港中文大学（深圳）。该研究于2024年发表在人工智能领域的重要期刊《Association for the Advancement of Artificial Intelligence (AAAI)》上。

学术背景
推荐系统在信息过滤中扮演着重要角色，但传统的推荐模型通常在静态环境中进行知识挖掘，无法应对动态变化的现实世界环境。这种局限性导致模型无法适应新兴趋势，从而导致推荐性能下降。由于模型全面重训练的成本通常过高，研究者开始探索增量学习（Incremental Learning）在推荐系统中的应用。增量学习允许模型在不断增长的数据中持续更新，同时保留之前学到的知识，例如用户的长期偏好。本研究的目的是提出一种模型无关的增量学习框架，称为“影响性样本回放”（Influential Exemplar Replay, INFER），以解决推荐系统中的增量学习问题。

研究目标
本研究的目标是开发一个框架，使推荐模型能够在保留早期知识的同时，适应用户新交互行为中体现的演变趋势。具体来说，研究者提出了一个基础的实现（INFER-Vanilla）和一个优化的实现（INFER-Once），以减少基础实现的计算开销，并在四个典型的骨干模型、两个经典推荐任务和四个广泛使用的基准数据集上验证其有效性。

研究流程
1. 问题定义：给定用户-项目交互流列表D，包含连续的数据段D={D₀, D₁, …, Dᵢ}。在每次增量学习中，模型访问当前时间段的Dₜ进行更新，同时防止对早期知识的遗忘。 2. 经验回放策略：为了保留早期知识，研究设计了一个存储库（Reservoir）来缓存一小部分历史数据。在增量训练过程中，缓冲的数据会与新数据结合，用于模型更新。 3. 框架实现：在每个时间点t，研究者通过函数f从历史数据中检索出具有影响力的样本，用于更新模型。具体来说，INFER-Vanilla通过鲁棒统计中的影响函数（Influence Function）来识别对模型预测影响最大的样本，而INFER-Once则通过一步估计来优化计算效率。 4. 实验设计：研究者在四个真实世界的基准数据集上进行了实验，分别评估了CTR预测和Top-N推荐任务。实验中，INFER被应用于四个骨干模型，包括DeepFM、TwoTower、BPR-MF和LightGCN。通过五折交叉验证，研究者在每个增量更新后评估了模型的性能。

实验结果
1. CTR预测任务：在四个数据集上，INFER-Once在所有骨干模型上的表现均优于Fine-tune方法，性能提升从0.22%到5.12%不等。这表明INFER在缓解模型遗忘早期知识方面具有显著效果。 2. Top-N推荐任务：在较小的数据集上，INFER-Vanilla表现良好，但在较大的数据集上表现下降。相反，INFER-Once在较大数据集上表现最佳，表明其在Top-N推荐任务中的有效性。此外，INFER在与图神经网络模型结合时，进一步提升了这些模型的性能。 3. 与全数据重训练的比较：在CTR预测任务中，INFER-Once与全数据重训练的性能相当，甚至在某些情况下略优。在Top-N推荐任务中，INFER-Once与全数据重训练之间仍存在一定差距，但考虑到全数据重训练的高昂成本，INFER的效率更具优势。

结论
本研究提出的INFER框架通过影响性样本回放，有效解决了推荐系统中的增量学习问题。特别是INFER-Once在计算效率和模型性能之间取得了良好平衡，显著提升了增量学习的效果。该框架的模型无关性使其能够广泛应用于多种推荐系统骨干模型，并在多个基准数据集上展现出优越的性能。

研究亮点
1. 本研究首次将影响分析方法用于构建增量推荐模型，通过检索直接影响下游任务的回放样本，显著提升了模型的性能。 2. 研究提出的INFER-Once方法通过一步估计优化了计算效率，解决了基础实现中的计算复杂度和不稳定问题。 3. INFER框架在多个骨干模型和基准数据集上表现出一致的高适应性，显著优于现有的端到端增量推荐解决方案。

其他价值
本研究的成果为推荐系统的增量学习提供了新的思路和方法，具有重要的科学价值和实际应用潜力。未来的研究可以探索结合图结构信息的影响函数，或设计生成模型以合成历史交互数据，进一步增强增量学习的实用性。