分享自:

通过谱域多模态表示校准增强多模态推荐

期刊:KDD '26DOI:10.1145/3770854.3780208

本文提出了一种名为DAMPS的多模态推荐框架,旨在通过谱域中的多模态表示校准来提升推荐系统的性能。该研究由吉林大学人工智能学院的王明辉、吉林财经大学统计与数据科学学院的张婷婷、吉林大学人工智能学院的李宇和常毅共同完成,发表于2026年8月的第32届ACM SIGKDD知识发现与数据挖掘会议(KDD ’26)上。

多模态推荐系统通过融合用户-物品交互数据与丰富的物品多模态特征(如图像、文本、音频等)来推断用户偏好,已成为当前最先进的推荐范式之一。然而,现有的多模态推荐方法大多仅关注物品的多模态融合过程,忽视了模态特有的噪声特性以及模态间分布偏移对融合过程的影响。这导致来自特定模态的噪声在多模态表示融合过程中被无意放大,从而降低融合表示的质量并最终损害推荐精度。

为了解决这一问题,作者提出了DAMPS框架,从谱域的幅度谱和相位谱两个角度对多模态表示进行去噪与校准。首先,该框架采用快速傅里叶变换(FFT)将多模态表示分解为幅度谱和相位谱两个部分。随后,作者提出了自适应相位校准器,通过相位偏移的最优最小方差无偏估计和自适应相位旋转来解决模态间的相位分布偏移问题。接着,他们设计了幅度方差比滤波器,用于抑制模态特定的幅度噪声,同时保留显著的模态特定表示。最后,他们引入了模态间相干性滤波器,通过幅度平方相干性来量化并增强模态间内在共享信息,从而消除不相关的模态噪声。

从方法论的角度来看,DAMPS是模型无关的,具有高度灵活性,能够无缝集成到各种多模态推荐骨干网络中。研究团队在五个公开的多模态推荐数据集上进行了广泛的实验评估。这五个数据集包括四个亚马逊双模态评论数据集(Baby、Sports and Outdoors、Clothing Shoes and Jewelry和Electronics)以及一个来自短视频平台的三模态数据集(MicroLens)。实验使用了七个近三年内发表的最新模型作为骨干或基线模型,包括FREEDOM、BM3、MGCN、LGMRec、SMORE、PGL和LIRDREC。研究采用Recall@K和NDCG@K作为评价指标,K取值为10和20。

实验结果表明,DAMPS在所有任务和所有骨干多模态推荐模型的各项指标上均持续取得了性能提升。具体而言,DAMPS在五个数据集上的平均性能提升幅度从Baby数据集的4.49%到MicroLens数据集的10.34%不等。在图像主导的数据集(如Clothing和MicroLens)上,DAMPS的性能提升尤为显著,Clothing数据集上的Recall@20提升至少8.63%,MicroLens数据集上的NDCG@10提升最高达12.31%。最值得关注的是,DAMPS将MGCN的竞争排名从第四位提升至第一位,充分展示了其变革潜力。即使是已经包含频域去噪功能的SMORE,在集成DAMPS后仍能获得显著的额外性能提升,这凸显了自适应模态间相位一致性增强和更先进的幅度去噪技术的独特优势。

消融实验进一步验证了DAMPS各模块的重要性。移除自适应相位校准器、幅度方差比滤波器或模态间相干性滤波器中的任何一个模块都会导致DAMPS性能下降,这表明仅依赖幅度校准是远远不够的,三个模块缺一不可。此外,将每个模块单独集成到骨干网络中的实验表明,尽管每个模块单独已经优于原始骨干网络,但整合了三个组件的完整DAMPS框架取得了最优越的性能,证明了在DAMPS中同时考虑自适应相位校准、幅度方差比滤波和模态间相干性滤波的必要性。

在表示可视化方面,研究人员使用t-SNE对MicroLens数据集上MGCN生成的项目表示进行了可视化。结果显示,经过DAMPS多模态表示校准后,表示的相位分布变得更加均匀和稳定,校准后的幅度值凸显了每个模态独特的特征模式,联合空间中观察到的模态间共振簇也证实了利用模态间相干性对于捕捉真实用户偏好至关重要。这些发现验证了DAMPS中整合了自适应相位校准、幅度方差比滤波和模态间相干性滤波的多模态表示校准能够产生更具判别力的多模态表示,最终提升多模态推荐性能。

在复杂度与效率分析中,DAMPS在理论上的时间复杂度为O(N’d(log N’d)),空间复杂度为O(N’d),其中N’代表每个批次中的项目数,d表示特征维度。实证结果表明,以MGCN为例,GPU内存使用量在所有数据集上仅增加0.1%至5.6%,CPU内存使用量仅上升0.1%至3.8%,训练时间增加幅度适中,介于1.2%和6.3%之间。对于其他骨干网络,虽然平均GPU内存使用量增加约24%,但额外的CPU内存开销仍然很低,大多低于5%,所有骨干网络的训练时间增加均在可接受范围内,其中BM3甚至低于5%。这些结果充分表明DAMPS是一个轻量级且计算高效的解决方案。

本文的核心贡献在于提出了一种在谱域中对多模态表示进行细粒度校准的新框架。传统的多模态推荐方法要么完全不考虑模态表示去噪,要么仅依赖粗糙的基于幅度的去噪技术,忽视了模态特定的噪声特性和模态间的相位分布偏移。DAMPS首次在多模态推荐场景中引入自适应相位校准器来处理模态间的相位分布偏移,与传统信号处理中依赖静态校准的相位对齐策略不同,该相位校准器能够自适应地旋转每个模态的谱以最小化相位谱偏移。此外,幅度方差比滤波器通过抑制高频波动来去噪模态特定的幅度谱,同时保留每个模态独特的谱特征。模态间相干性滤波器则通过测量模态间的谱相干性来选择性地放大两者共享的频率分量,从而强化真正的联合偏好信息。这些创新设计使得DAMPS能够在多模态表示融合之前完成去噪和校准,从根源上避免了噪声放大和语义偏差问题。

该研究的价值不仅在于提出了一种性能优异的推荐框架,更在于重新审视了多模态推荐中信号处理层面的问题。作者通过谱熵、能量比和相位偏移方差三个互补的信号处理指标对多模态表示的谱域分布进行了量化分析和可视化,直观地展示了图像和文本模态之间的差异以及未校准表示中存在的噪声主导现象。这种将不确定性估计与谱域表示校准相结合的方法为构建置信度感知和可靠推荐系统开辟了新的范式。此外,DAMPS作为即插即用的增强框架,无需改变现有推荐模型的任何结构即可嵌入其中,这一特点使其具有很强的普适性和应用价值。未来工作可以将DAMPS框架扩展到其他多模态领域以及多于两个模态的场景中。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com