随着互联网信息的爆炸式增长，推荐系统已成为人类社会不可或缺的工具。传统推荐系统主要依赖用户与物品的历史交互来建模用户偏好，但数据稀疏性问题始终困扰着推荐准确性。近年来，随着社交媒体上信息类型的日益多样化，多模态信息被广泛用于缓解数据稀疏性问题。多模态推荐中的两个关键过程是模态融合（modality fusion）与表示学习（representation learning）。以往方法在模态融合上常采用简单的注意力机制或预定义策略，难以有效处理模态间的无关信息；在表示学习上，已有研究构建了异构图和同构图结构来捕捉用户兴趣和物品画像，但模态融合与表示学习往往被视为两个独立过程。本文揭示这两个过程具有互补性，强大的表示学习能增强模态融合，而有效的融合又能提升表示质量。
作者首先通过实验探究了一个关键问题：同时利用用户-用户图和物品-物品图能否取得更好的推荐性能？研究团队选取了最具代表性的基于图卷积网络的多模态推荐模型MMGCN，并设计了三种变体：仅引入用户-用户图的MMGCNᵘ、仅引入物品-物品图的MMGCNⁱ、以及同时引入两种图的MMGCNᵘⁱ。同时，对每个变体分别实现了早期融合和晚期融合策略。在Baby数据集上的实验结果显示：第一，当仅整合用户-用户图或物品-物品图时，晚期融合优于早期融合；但当同时整合两种图时，早期融合反而更有效，这可能是因为晚期融合虽然允许更深层的模态特定学习，但更容易受到模态间无关信息的不利影响。第二，在早期融合策略中，MMGCNᵘⁱ的性能优于仅引入单一图的变体，表明同时利用用户图和物品图能促进更有效的表示学习。这些观察结果表明，以往研究中次优的融合策略可能制约了模型本身的表示学习能力。
基于上述发现，作者提出了名为COHESION的模型——面向多模态推荐的双阶段融合复合图卷积网络（Composite Graph Convolutional Network with Dual-Stage Fusion）。模型的核心创新包含三个方面：双阶段融合策略、复合图卷积网络、以及自适应优化。
双阶段融合策略旨在减少模态间无关信息的负面影响。在早期融合阶段，模型首先将各模态特征嵌入变换到统一维度，然后利用行为模态（ID嵌入）对所有其他模态进行精炼。具体而言，精炼操作为：将变换后的模态嵌入与行为模态嵌入分别平方后相加，取平均后开方，并加入一个正无穷小量防止零向量。作者认为，利用行为模态精炼所有模态能够使每个模态映射到更好的语义空间，因为多模态推荐的目标是预测用户偏好而非理解多模态内容本身。
复合图卷积网络包含异构图和同构图两个层面。在异构图层面，模型为每种模态构建用户-物品二分图，并设计了基于残差的图卷积网络以缓解过平滑问题。在每个图卷积层中，通过余弦相似度函数计算当前层表示与初始层表示的相似度，将其作为权重对传播信息进行加权。最终每个模态的嵌入通过各层输出的求和获得。在异构图的表示学习完成后，模型在晚期融合阶段利用可学习的注意力权重对所有模态表示进行自适应拼接融合。值得注意的是，模型选择在构建同构图之前进行晚期融合，这样可以避免为每个模态分别构建同构图所带来的计算与存储开销，同时使同构图能够捕捉具有模态协同效应的特征。
同构图层面包含用户-用户图和物品-物品图。用户-用户图通过计算所有用户间的成对余弦相似度，为每个用户保留相似度最高的前k个用户作为邻居，并采用softmax加权聚合进行消息传播。物品-物品图同样计算物品间的成对余弦相似度，保留top-k最相似的物品作为邻居，采用加权聚合函数进行传播。最终将同构图学习到的表示与异构图融合后的表示进行残差连接，得到最终的用户和物品表示。
自适应优化方面，作者指出传统的贝叶斯个性化排序损失仅优化整体用户偏好，未能直接优化模态特定的偏好学习，可能导致某些模态学习不充分。为此，模型提出了自适应BPR损失函数：首先计算每个模态中用户对正负物品的评分差距，然后通过反向计算该评分差距的softmax值来确定各模态的权重，使弱模态获得更大的关注权重，最终将所有模态加权后的评分差距输入sigmoid函数计算损失。
实验在三个广泛使用的真实世界数据集上进行：Baby、Sports和Clothing，均来自Amazon数据集，包含视觉和文本两种模态信息。视觉特征为4096维，文本特征通过预训练的sentence-transformer提取为384维。数据集按8:1:1比例随机划分为训练集、验证集和测试集。评估指标采用Recall@K和NDCG@K（K=10和20）。
在性能对比实验中，COHESION与四类基线模型进行了比较：传统推荐模型（MF-BPR、LightGCN、SimGCL、LayerGCN）和多模态推荐模型（VBPR、MMGCN、DualGNN、Lattice、FREEDOM、SLMRec、BM3、LGMRec）。实验结果表明，COHESION在所有三个数据集的所有评估指标上均取得了最优性能，且相对于最强基线模型在Recall@20上取得了4.41%至6.05%的显著提升，统计检验显示p值小于0.01，提升具有统计显著性。
消融实验验证了各组件有效性。在早期融合消融研究中，研究者设计了七个变体分别移除不同模态的精炼操作，结果显示COHESION优于所有变体，验证了早期融合策略的有效性，其中对行为模态本身的精炼也能带来轻微提升。在同构图消融实验中，移除物品-物品图或用户-用户图均导致性能下降，且物品-物品图的贡献大于用户-用户图，两者结合能达到最佳性能。自适应优化被证明是一个即插即用的组件，将自适应优化应用到DualGNN和Lattice模型上，均能取得一致的性能提升。
关于模态间无关信息的缓解效果，实验显示大多数现有多模态模型在同时引入视觉和文本模态时的表现反而不如仅使用单一最优模态，只有FREEDOM和COHESION取得了正向提升，而COHESION的提升幅度达4.99%，远高于FREEDOM的1.22%。通过t-SNE可视化分析，COHESION双阶段融合后的不同模态表示分布比传统晚期融合呈现出显著的更高相似性，进一步验证了双阶段融合策略在模态对齐方面的有效性。
在数据稀疏场景分析中，研究将用户按交互数量分为五个稀疏度区间，COHESION在所有稀疏度区间上均一致优于Lattice、FREEDOM和LGMRec三个具有竞争力的基线模型。在效率分析方面，COHESION的训练时间和模型参数量与竞争性基线相当，但收敛速度明显更快，这归因于双阶段融合策略有效缓解了模态间无关信息的干扰。在超参数敏感性研究中，Baby、Sports和Clothing数据集的最优异构图卷积层数分别为1、2和2层；学习率建议分别为1e-3、1e-4和1e-3；正则化权重建议分别为1e-4、1e-3和1e-3。
本文通过深入分析现有多模态推荐方法中融合策略与表示学习相互制约的问题，提出了COHESION模型，其核心贡献在于：(1) 设计了双阶段融合策略，在早期利用行为模态精炼各模态嵌入以弥合模态间语义鸿沟，在晚期通过注意力机制融合各模态表示；(2) 构建了复合图卷积网络，同时利用用户-物品异构图、用户-用户同构图和物品-物品同构图来提取丰富的用户偏好和物品关系信息；(3) 提出了自适应BPR优化损失，通过动态调整各模态权重来确保弱模态得到充分学习。大量实验验证了COHESION在推荐准确性、模态噪声缓解、数据稀疏适应性和训练效率等方面的综合优势，为多模态推荐领域提供了模态融合与表示学习协同优化的新范式。该研究成果已被第48届ACM SIGIR国际信息检索会议（SIGIR ‘25）接收。