本文介绍了一项题为“Modality Fusion with Triplet Contrastive Learning and Cross-Attention for Multimodal Recommendation”的原创性研究。该研究由电子科技大学计算机科学与工程学院的Aaron Felix Opoku Boateng、Kaizhong Deng、Zeng Wei、Wisdom Xornam Ativi和Godfred Kumi Kwakye共同完成，其中前两位作者为共同第一作者，Zeng Wei为通讯作者。论文发表于ACM Transactions on Recommender Systems期刊，DOI为10.1145/3856983。
推荐系统是解决信息过载问题的关键技术之一。传统的推荐模型仅依赖用户-项目交互数据进行训练，然而这类数据的固有稀疏性严重限制了模型效果。近年来，研究者逐渐将目光投向多模态推荐系统，通过整合文本、图像等多模态数据来更全面地刻画用户偏好。当前主流方法采用预训练模型独立提取各模态特征，随后利用图神经网络在用户-项目交互图上学习节点级嵌入表示。然而，这一方法存在潜在缺陷：图模型中的消息传递机制可能破坏文本特征的语义一致性和视觉特征的完整性，导致推荐系统难以基于节点级嵌入准确检索具有特定文本或视觉属性的项目。例如，当用户希望购买黑色T恤时，基于节点级嵌入的推荐系统难以准确判断候选项目是否满足颜色属性要求。
针对上述问题，本研究面临两大核心挑战：其一，不同模态间的特征分布存在异质性差异（如图像的像素矩阵与文本的词序列），使其难以在特征空间中自然对齐；其二，需要精准建模用户偏好并将其与项目多模态特征进行有效匹配。为此，作者提出了TRICAM（Triplet-based Cross-Attention Model with MLP）模型，旨在通过多模态融合、用户兴趣学习和兴趣匹配三个核心模块解决上述问题。
TRICAM的框架由三个核心模块构成，其数据处理流程从原始输入逐步转化为用户选择目标项目的预测概率。
多模态融合模块（Multimodal Fusion Module） 负责项目多模态特征的提取、对齐与融合。首先，利用预训练编码器独立提取各模态特征：文本内容通过Sentence-BERT编码器输出文本特征向量eᵗᵢ，视觉内容通过卷积神经网络（CNN）输出视觉特征向量eᵛᵢ。由于不同预训练模型提取的特征分布可能存在显著差异，模型采用最大均值差异（Maximum Mean Discrepancy，MMD）方法对文本和视觉特征的分布进行对齐，通过高斯核映射将嵌入向量映射到再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）中度量分布距离，从而在特征融合前有效弥合分布差距。随后，模型采用多头交叉注意力机制（Multi-head Cross-Attention），以用户节点级嵌入初始化查询向量，对文本和视觉模态分别计算注意力权重，并通过各注意力头的线性投影和拼接操作生成融合后的项目嵌入表示zᵢ。
兴趣学习模块（Interest Learning Module） 基于用户-项目交互二部图学习用户兴趣表示。每个用户被初始化为两个可训练偏好嵌入：文本偏好嵌入pᵗᵤ和视觉偏好嵌入pᵛᵤ，项目则使用其多模态特征嵌入。这些嵌入通过模态拥抱图卷积网络（Modality-Embracing Graph Convolutional Network，MEGCN）进行消息传递迭代更新。在每一层中，用户聚合其交互项目的特征，项目聚合交互用户的特征，通过度归一化因子防止高节点度偏差。经过多层传播后，嵌入逐步富集协同过滤知识并保留多模态内容相关性。此外，模型计算用户历史交互项目的注意力加权聚合嵌入h′ᵤ，以捕捉用户倾向于选择相似项目的行为模式。为增强嵌入的判别能力，模型采用三重对比学习（Triplet Contrastive Learning），以用户为锚点、正交互项目为正样本、未交互项目为负样本构建三元组，通过最小化三重损失函数确保正样本在嵌入空间中比负样本更接近用户向量。该损失函数引入边距超参数α控制正负样本间的分离程度。
兴趣匹配模块（Interest Matching Module） 使用多层感知机（Multilayer Perceptron，MLP）替代传统内积方法进行用户兴趣与项目多模态特征的语义匹配。模型将节点级用户嵌入hᵤ、聚合项目嵌入h′ᵤ和模态融合项目嵌入zᵢ拼接为统一特征表示Δᵤ,ᵢ，经过三个全连接层（中间使用ReLU激活函数，最后一层使用Sigmoid激活函数输出用户选择项目的概率），并在每个隐藏层后应用批归一化和Dropout以提高训练稳定性和正则化效果。
模型的总损失函数由三部分组成：贝叶斯个性化排序损失（Bayesian Personalized Ranking，BPR）用于排序优化，三重对比损失用于节点级嵌入空间的判别性优化，MMD损失用于模态分布对齐。
实验部分使用了四个公开基准数据集：Men Clothing（4,955用户、5,028项目、32,363交互）、Beauty（22,363用户、12,101项目、198,502交互）、Women Clothing（19,244用户、14,596项目、135,326交互）和MicroLens（98,129用户、17,228项目、705,174交互）。交互数据按80%/10%/10%随机划分为训练集、验证集和测试集。评估指标包括Recall@20、NDCG@20和Item Coverage@20。对比基线包括GCN类方法（NGCF、LightGCN）和多模态方法（VBPR、MMGCN、GRCN、LATTICE、MARIO、MONET）。
在四个数据集的性能对比中，TRICAM在准确率指标上一致优于所有基线模型。在Women Clothing数据集上，TRICAM相比最强基线MONET的Recall@20提升16.9%（0.1160 vs 0.0992），NDCG@20提升17.2%（0.0531 vs 0.0453），且p值<0.01表明差异具有统计显著性。在Men Clothing数据集上，TRICAM的Recall@20达到0.0961，较MONET提升6.8%。在Beauty和MicroLens数据集上，TRICAM也分别取得5.2%和5.0%的Recall@20提升。
与GCN类方法的对比中，TRICAM的优势更为显著。在Women Clothing数据集上，TRICAM的Recall@20超过NGCF达219.60%，超过LightGCN达89.85%。这一结果表明多模态项目数据提供了比单纯交互数据更丰富的信息，能够更准确地建模用户兴趣。
在超参数分析中，三重对比学习的边距α对模型性能有重要影响。在Men Clothing和Women Clothing数据集上，最优α值为0.5；在Beauty和MicroLens数据集上，最优α值为0.4。过小的α导致嵌入空间判别力不足，过大的α则导致过度分离引发优化不稳定。多头交叉注意力的头数H在四个数据集上的最优值均为8，超过此值后因注意力机制过度碎片化导致性能下降。
消融实验表明三个核心模块均对模型性能有积极贡献。基线模型（排除所有优化模块）在四个数据集上表现最弱；加入三重对比学习（BL+TL）后性能提升最为显著，特别是在Beauty数据集上，验证了三重损失在嵌入判别性方面的关键作用；仅加入交叉注意力（BL+CA）在Beauty等依赖丰富多模态内容的数据集上同样表现出色；仅加入MLP模块（BL+MLP）的提升相对有限，表明MLP的辅助性质。完整模型在几乎所有指标上达到最优表现。
在编码器对比实验中，当使用CLIP替换SBERT和CNN作为文本和图像编码器时，TRICAM仍然保持最高准确率。这一结果验证了模型中MMD模块、三重对比学习和MLP模块的协同效应不依赖于特定编码器选择。
值得注意的是，TRICAM在Item Coverage指标上低于多数基线方法。例如在Men Clothing数据集上，TRICAM的Coverage@20为0.7106，低于MONET的0.8416。这一现象的根本原因在于TRICAM依赖项目的原始多模态特征生成候选推荐集，客观上缩小了检索空间，限制了推荐多样性。
本研究提出了TRICAM框架，通过整合三重对比学习、交叉注意力机制和MLP匹配模块，有效解决了多模态推荐系统中的三大关键问题：多模态特征失配、用户-项目嵌入判别力不足以及用户偏好与多模态项目特征间的语义匹配薄弱。与现有方法相比，TRICAM直接从项目的原始多模态特征中挖掘用户偏好，使推荐系统能够基于文本或视觉特征直接检索用户可能感兴趣的项目，这一能力是传统基于节点级嵌入的推荐系统所不具备的。
在科学价值方面，本研究证明了在特征融合前进行MMD分布对齐、在节点级嵌入学习中引入三重对比学习、以及用MLP替代内积进行匹配计算，均能有效提升多模态推荐的准确率。在应用价值方面，该方法支持跨平台推荐场景——通过统一编码器从不同平台提取项目多模态特征，并在此基础上训练多模态特征匹配模型。
本研究的主要亮点包括：（1）提出基于注意力的文本-视觉特征融合技术，优先解决特征失配问题；（2）设计了基于三重对比学习的用户兴趣学习模块，使用户表示更贴近其偏好项目的多模态特征；（3）构建了基于MLP的匹配模块，有效捕捉特征间的高阶交互信息和非线性关系；（4）在四个公开数据集上验证了方法相较最先进方法的显著优势。
作者指出TRICAM目前仅利用文本和视觉两种模态，主要原因是随模态数量增加，跨模态语义对齐的复杂度呈指数增长。此外，推荐多样性方面略逊于图模型方法。未来工作将考虑更深层次地融合项目原始多模态特征与节点级特征，以期在保持高检索准确率的同时拓宽候选项目范围，实现准确性与多样性的平衡。