DMMD4SR：基于扩散模型的多层次多模态去噪序列推荐研究

本研究由北京大学（Peking University）的Weihai Lu（通讯作者）与独立研究者Li Yin合作完成，论文发表于第33届ACM国际多媒体会议（MM ’25），会议于2025年10月27日至31日在爱尔兰都柏林举行。

研究背景与问题定义

该研究属于推荐系统（Recommender Systems）领域，具体聚焦于多模态序列推荐（Multimodal Sequential Recommendation, MMSR）。序列推荐旨在通过建模用户与物品交互的时间顺序来捕捉动态兴趣，其技术路线经历了从马尔可夫链、矩阵分解到循环神经网络、图神经网络以及Transformer架构的演进。多模态序列推荐进一步引入物品的视觉与文本等丰富特征，以增强用户偏好建模能力。然而，现有方法通常直接使用预训练模型（Pre-trained Models, PTMs）提取的多模态表示，忽视了三个关键挑战：第一，领域偏移噪声（domain shift noise），即预训练模型的训练数据分布与推荐场景中的物品模态分布存在显著差异；第二，模态内兴趣无关噪声（interest-agnostic noise），例如物品图像中的无关背景或描述中的冗余细节，这些信息与驱动用户交互的具体兴趣无关；第三，交互不确定性（interaction uncertainty），用户行为序列中包含偶然点击或受短暂兴趣驱动的交互，这使得在交互时刻用户对特定物品模态的真实偏好变得模糊，进而干扰多模态融合过程。

针对上述交织的挑战，作者提出了DMMD4SR框架，其核心思想是利用扩散模型（Diffusion Models）的迭代去噪能力，对多模态表示进行逐级净化。该框架包含三个专门设计的组件，分别对应三类噪声源，并通过端到端训练协同工作。

研究方法与工作流程

DMMD4SR的整体架构由四个主要阶段构成。第一阶段为通用多模态物品表示提取。对于每个物品序列，使用预训练的视觉-语言模型CLIP ViT-B/32的文本编码器和视觉编码器分别提取文本特征序列与视觉特征序列，同时维护物品ID嵌入序列。这些初始表示作为后续去噪层的输入。

第二阶段为多模态领域偏移去噪层（Multimodal Domain Shift Denoising Layer）。该层将初始文本表示和视觉表示分别视为扩散模型中的“干净”数据，通过前向过程逐步添加高斯噪声，再利用参数化的去噪网络（在本研究中实现为简单的前馈网络）从含噪输入中预测原始表示。训练目标为最小化重建误差，使得去噪网络学会将领域偏移的特征投影到与推荐任务相关的流形上。该层的总损失为文本与视觉两个模态的去噪损失之和。

第三阶段为多模态兴趣无关去噪层（Multimodal Interest-Agnostic Denoising Layer）。首先，从物品ID序列出发，加入位置嵌入并通过标准Transformer块（自注意力加前馈网络）建模序列依赖关系，得到用户动态兴趣的上下文表示。然后，以该上下文表示为条件，对经过领域偏移去噪后的文本与视觉表示执行条件扩散去噪。去噪网络在预测时额外接收兴趣上下文作为条件输入，从而抑制每个模态中与用户兴趣无关的细节。该层同样对文本和视觉两个模态分别计算条件重建损失。

第四阶段为不确定性引导的模态去噪融合层（Uncertainty-Guided Modality Denoising Fusion Layer）。该层受变分信息瓶颈原理启发，对每模态表示序列中的每个向量，使用两个独立的MLP分别预测对角高斯分布的均值和对数方差。通过重参数化技巧采样得到新的表示，并利用KL散度正则项约束潜在分布，防止方差坍缩。基于学习到的标准差计算每个模态在每个序列位置上的置信度分数，并在模态间进行归一化，得到融合权重。最终融合表示通过对重参数化后的各模态特征进行加权聚合得到，从而在融合阶段实现了对不可靠模态信号的自适应抑制。

在预测与优化阶段，融合后的序列表示被送入SASRec架构的序列编码器，取最后一个位置的输出向量作为用户序列表示。通过与所有候选物品ID嵌入的点积和softmax计算下一个物品的概率分布。模型的总损失函数为推荐损失（负对数似然）、领域偏移去噪损失、兴趣无关去噪损失以及KL正则项损失的加权和。

实验设置与主要结果

实验在四个亚马逊公开数据集上进行，包括Home、Beauty、Tools和Toys，用户数从16,638到66,519不等，物品数从10,217到28,237不等，数据稀疏度在0.03%至0.08%之间。评估指标采用HR@10、HR@20、NDCG@10和NDCG@20。基线方法涵盖三类：传统方法（SASRec、BERT4Rec、FMLP-Rec）、基于扩散模型的方法（DiffuRec、PDRec、CaDiRec）以及多模态方法（M3SRec、MMSRec、MissRec）。

在总体性能对比中，DMMD4SR在所有四个数据集上的全部评估指标均取得最优结果。以Beauty数据集为例，DMMD4SR的Recall@20达到0.1121，NDCG@20达到0.0534，相比第二优的基线方法分别提升了17.51%和20.81%。在Home数据集上，Recall@10相对提升高达19.80%。这些结果表明，相较于未显式处理噪声的多模态方法，DMMD4SR通过可控扩散过程有效缓解了领域偏移与兴趣无关噪声，从而学习到更准确的用户兴趣表示。同时，多模态方法整体上优于仅依赖ID的基线方法，验证了多模态上下文信息在缓解数据稀疏性方面的价值。

消融实验系统评估了各组件的作用。去除整个领域偏移去噪层或兴趣无关去噪层均导致明显的性能下降，验证了解决这两类噪声的必要性。分别去除视觉或文本单模态的去噪组件也造成性能损失，说明对两个模态同时去噪具有正向贡献，但移除整个层的负面影响更为显著。将不确定性引导融合层替换为简单的拼接加MLP融合策略导致性能大幅下降，证明了不确定性感知自适应融合机制在处理含噪交互方面的有效性。去除KL正则项同样降低了性能，表明该损失项对优化不确定性估计具有积极作用。

参数敏感性分析表明，去噪损失权重在0.1至0.5范围内模型性能稳健，过小会限制去噪效果，过大则可能干扰主推荐任务。扩散步数在10至20步时能在去噪有效性与计算效率之间取得良好平衡。

效率分析显示，DMMD4SR的训练时间（110.5秒/epoch）与MissRec（93.4秒/epoch）和PDRec（102.6秒/epoch）相当，推理时间（24.8毫秒/用户序列）虽高于SASRec（5.1毫秒/用户序列），但仍处于可实际部署的范围内。

t-SNE可视化进一步验证了去噪机制的有效性。初始多模态表示在嵌入空间中分布分散，经过领域偏移去噪层后形成显著更紧凑的聚类，再经过兴趣无关去噪层后聚合程度进一步提高，表明两类噪声均得到了有效缓解。

研究结论与价值

本研究的核心贡献在于首次明确剖析并渐进式地解决了多模态序列推荐中来自领域偏移、兴趣无关特征和交互不确定性三类不同噪声源的问题，提出了基于扩散模型的多层次去噪框架DMMD4SR。通过三个专门组件协同工作，该框架实现了对多模态表示的逐步净化与鲁棒的不确定性感知融合，显著优于现有最先进方法。研究的科学价值在于为多模态推荐中的噪声建模提供了新的理论视角和技术路径，将扩散模型的去噪能力从生成任务拓展至表示学习的去噪任务。应用价值体现在该方法可直接部署于电子商务、内容流媒体等实际推荐场景，在保持可接受计算开销的前提下提升推荐精度与鲁棒性。未来工作将探索整合大语言模型以进一步增强上下文表示学习能力。