本文介绍了一项题为《TV-Rec: Time-variant Convolutional Filter for Sequential Recommendation》的原创性研究。该研究由 KAIST(韩国科学技术院)的 Yehjin Shin、Jeongwhan Choi、Seojin Kim 以及通讯作者 Noseong Park 共同完成。该论文发表于第 39 届神经信息处理系统大会(NeurIPS 2025),是机器学习与推荐系统领域的重要学术成果。
时序推荐(Sequential Recommendation, SR)是推荐系统中的一个核心任务,旨在根据用户的历史交互序列预测其下一个可能感兴趣的物品。用户的偏好会随时间动态变化,因此如何有效捕捉用户行为序列中的时序依赖与局部模式成为该领域的关键挑战。
近年来,卷积滤波器(convolutional filter)因其在捕捉局部时序模式方面的优势,逐渐被引入时序推荐模型。然而,现有的大多数方法仍将卷积滤波器与自注意力机制(self-attention)结合使用,原因在于:传统卷积滤波器通常是固定的(fixed),即同一组权重被均匀地应用于序列中所有位置,难以捕捉全局交互和位置相关的时序变化。自注意力机制虽然表达能力强,但缺乏对序列局部结构的归纳偏置(inductive bias),且计算复杂度较高。这种“卷积擅长局部但缺乏灵活性、自注意力表达力强但低效且对局部性不敏感”的根本矛盾,构成了本研究的主要动机。
为了弥合这一鸿沟,作者提出了 TV-Rec 模型,其核心思想是使用时变卷积滤波器(time-variant convolutional filter)取代固定的卷积核与自注意力机制,从而同时捕捉局部与全局模式,并在提升准确率的同时降低推理时间。该设计受图信号处理(Graph Signal Processing, GSP)中的节点变体图滤波器(node-variant graph filter)启发,将用户序列重新解释为线图(line graph),并在此图上应用随时序位置变化的滤波操作。
TV-Rec 的整体架构由三个模块组成:嵌入层(Embedding Layer)、时变编码器(Time-variant Encoder)和预测层(Prediction Layer)。
首先,将用户的历史交互序列转换为固定长度 n。若序列长度大于或等于 n,则截断至最近 n 个物品;若不足 n,则在序列开头用零填充。随后,通过物品嵌入矩阵 E ∈ R^{|V|×d}(d 为隐向量维度)进行查表操作,得到用户序列的嵌入表示,再依次经过层归一化(Layer Normalization)和 Dropout,最终得到输入序列 X⁰。值得注意的是,由于时变卷积滤波器本身能够编码位置信息,该模型不再需要 Transformer 中常用的位置嵌入(positional embedding)。
时变编码器由 L 个时变编码块堆叠而成,每个块包含一个滤波层(Filter Layer)和一个前馈网络(Feed-Forward Network),并在两者之后分别应用残差连接与层归一化。
滤波层是该模型的核心创新。在第 ℓ 层中,输入 X^ℓ 首先通过图傅里叶变换(Graph Fourier Transform, GFT)矩阵 U^T 变换至频域,得到 X̃^ℓ。该 GFT 矩阵来源于一个有向循环图(Directed Cyclic Graph, DCG),该设计替代了传统的线图,以保证矩阵可对角化并支持谱域滤波。随后,作者构建时变卷积滤波器。其滤波操作可用公式表示为:
X̂^ℓ = ( U ∘ ( H Λ^T ) ) U^T X^ℓ
其中,H ∈ C^{n×(k+1)} 为滤波抽头(filter taps)矩阵,Λ ∈ R^{n×(k+1)} 为范德蒙德矩阵(Vandermonde matrix),∘ 表示逐元素乘法。滤波矩阵 H 的构造方式如下:
H = C B̄ = C ( B / ||B||₂ )
其中,C ∈ R^{n×m} 是系数矩阵,用于生成位置特定的滤波器;B̄ ∈ C^{m×(k+1)} 是经过 L2 行归一化的基矩阵(basis matrix)。参数 m 控制基向量的数量,决定了滤波器的表达能力与计算成本。由于序列中每个节点对应一个时间位置,C 可以被视为时间的函数。这一设计使得每个时间步都能拥有独立的滤波权重,从而有效捕捉用户偏好的时序变化。
在完成滤波操作后,模型依次应用 Dropout、残差连接和层归一化,以防止过拟合并提高训练稳定性。
前馈层则采用 GELU 激活函数的两层全连接网络,以引入非线性变换。该部分与传统 Transformer 中的前馈网络类似,同样使用残差连接与层归一化。
经过 L 个时变编码块处理后,取最终序列表示 X^L_n,通过与物品嵌入向量的内积计算用户对所有候选物品的偏好分数:
ŷ_v = E_v^T X^L_n
模型训练采用交叉熵损失(Cross-Entropy Loss, L_CE),并额外加入正交正则化项 L_ortho,以约束基矩阵 B 的实部与虚部分别接近正交矩阵。总损失函数为 L = L_CE + α L_ortho,其中 α 为正则化强度系数。
研究在六个公开基准数据集上进行了评估,包括 Beauty、Sports、Yelp、LastFM、ML-1M 和 Foursquare。标准实验中最大序列长度 n 设为 50;为考察长程依赖建模能力,还在 ML-1M 和 Foursquare 上进行了 n=200 的长序列实验。评估指标采用 HR@r 和 NDCG@r(r ∈ {5, 10, 20}),并在全物品集上进行计算,不使用负采样。基线方法包括 Caser、GRU4Rec、SASRec、BERT4Rec、NextItNet、FMLPRec、DuoRec、LRURec、AdaMCT 和 BSARec 等。此外,还与 SR-GNN、GC-SAN 和 GCL4SR 等基于 GNN 的方法进行了对比。
在标准时序推荐任务中,TV-Rec 在所有六个数据集上均超越了全部基线方法,平均准确率相对最强基线提升了 7.49%。提升在 LastFM(HR@10 提升 19.13%,NDCG@10 提升 18.34%)和 Foursquare(HR@10 提升 22.17%,NDCG@10 提升 23.85%)上尤为显著。在 ML-1M 上也取得了 HR@5 提升 5.06%、NDCG@5 提升 2.39% 的成绩。在 Beauty 和 Sports 等电商数据集上提升幅度较小,但依然稳定为正。
在 n=200 的长序列实验中,TV-Rec 在 ML-1M 和 Foursquare 上同样全面优于基线模型,平均提升 4.74%。尤其值得注意的是,在 Foursquare 上 NDCG@20 提升高达 11.27%。这一结果证明时变滤波器能够有效处理包含数百次交互的长序列,保持了良好的推荐精度。
与 SR-GNN、GC-SAN 和 GCL4SR 等基于图神经网络的时序推荐模型相比,TV-Rec 在所有六个数据集上均取得了显著的性能优势。作者认为,这是因为 TV-Rec 直接在序列位置上进行滤波操作,而非在物品转移图上迭代消息传递,从而能更高效地表征时序依赖。
为验证各设计组件的有效性,作者进行了四项消融实验:(1)添加可学习位置嵌入后性能不稳定,证明时变滤波器本身足以编码位置信息;(2)将时变滤波器替换为基本图滤波器后性能下降,验证了时变设计的必要性;(3)将基矩阵 B 设为单位矩阵(即 H=C)后性能下降,说明基矩阵构造方法的有效性;(4)去除基矩阵归一化后性能明显下降,验证了归一化策略的贡献。
参数敏感性实验显示:不同数据集对基向量数量 m 的最优值不同,如 Beauty 在 m=32 时达到峰值,而 LastFM 在 m=8 时表现最佳。Dropout 率 p 的影响也因数据集而异,交互较少的数据集通常受益于更高的 Dropout 率。
滤波器可视化结果表明:基本图滤波器对所有节点应用相同的权重模式,而时变滤波器则赋予早期节点较为均匀的权重以捕捉整体偏好,并在后期节点上逐渐强化对近期物品的关注。ML-1M 上的案例研究进一步证实:时变滤波器能同时捕捉用户的近期偏好(西部片)和长期偏好(喜剧片),而固定滤波器则仅关注近期交互中的类型。
TV-Rec 的时变卷积滤波器是一个线性算子,训练完成后可对滤波矩阵进行预计算,因此推理阶段的时间复杂度为 O(n²d),低于自注意力机制的 O(n²d + nd²)(当 n 与 d 规模相当时)。实验表明,TV-Rec 在推理时间和参数量上均优于 AdaMCT 和 BSARec 等混合模型,在保持最高推荐准确率的同时实现了更快的推理速度。
TV-Rec 通过时变卷积滤波器有效解决了传统固定卷积滤波器无法捕捉位置相关时序变化的问题,同时摆脱了对自注意力机制的依赖。该模型不仅提升了推荐精度,还降低了推理时间,在准确率与效率之间取得了最优平衡。该研究的科学价值在于:从图信号处理的角度重新审视了时序推荐中的滤波操作,建立了“时变图滤波可替代自注意力与固定卷积”的新范式。其应用价值在于:为工业级推荐系统提供了一种兼顾高性能与低延迟的可行方案,尤其适用于对推理速度有严格要求的在线推荐场景。
本研究的主要亮点包括:(1)首次将节点变体图滤波器理论引入时序推荐任务,提出了时变卷积滤波器的概念并验证其有效性;(2)证明了无需位置嵌入和自注意力即可实现高精度时序推荐,简化了模型结构;(3)在六个基准数据集上均取得最优结果,平均提升 7.49%;(4)推理阶段滤波矩阵可预计算,推理时间复杂度仅为 O(n²d),具有显著的实际部署优势。
作者在附录中讨论了模型的局限性,并指出未来将探索时变滤波器与状态空间模型(State Space Models, SSM)之间的理论联系。考虑到 SSM 与卷积滤波器之间存在深层数学关联,这一方向有望进一步提升模型对超长序列的建模能力与计算效率。