本研究由武汉大学计算机学院的郑思睿（Sirui Zheng）和刘进（Jin Liu）等学者主导，合作单位包括上海工程技术大学、中国科学院自动化研究所、湖北大学、马来西亚理工大学、沙特阿拉伯努拉公主大学、捷克赫拉德茨大学及日本岩手县立大学等。该论文题为《MAMoE4Rec: Multimodal Recommendation with Hop-aware Graph Modeling and Mixture-of-Experts Fusion》，发表于《Expert Systems with Applications》期刊第316卷，文章编号131852，于2026年2月27日在线发表。

该研究属于多模态推荐系统（multimodal recommendation）领域。近年来，推荐系统已从仅依赖用户-物品交互数据的协同过滤（collaborative filtering）范式，逐步发展为融合文本、图像、音频等多模态信息以构建更丰富的用户偏好与物品属性表示。然而，现有方法仍面临两大核心挑战：其一是如何有效融合异构多模态特征，其二是如何在用户-物品交互图中建模长程依赖（long-range dependencies）。传统基于图神经网络（Graph Neural Networks, GNN）的方法，如NGCF和LightGCN，虽能刻画高阶连接，但在多层邻居聚合时容易出现过度平滑（over-smoothing）问题，导致节点表示趋于雷同。而基于Transformer的模型虽然能够捕捉长程依赖，却存在二次方计算复杂度，不适合大规模图数据。同时，现有通用的预训练编码器（如BERT、ViT）所提取的语义特征，与垂直领域推荐任务之间存在语义鸿沟（semantic gap）。针对上述不足，本研究提出MAMoE4Rec框架，将基于专家混合（Mixture-of-Experts, MoE）的多模态编码与跳数感知（hop-aware）的序列建模相结合，旨在实现更精细的多模态融合与更高效的图结构建模。

MAMoE4Rec的工作流程可分为四个主要程序。第一程序为基于动态专家选择机制的多模态特征编码。首先，对于每个物品的视觉与文本特征，分别通过模态特定的多头自注意力模块（modality-specific self-attention）来捕获模态内部的局部依赖关系。具体地，通过查询（query）、键（key）和值（value）矩阵对原始特征进行上下文增强，并通过残差连接与层归一化（Layer Normalization）得到增强后的特征表示。随后，引入一个门控稀疏MoE模块，其中包含多个专家（experts）。对于每个物品，利用全连接层和GELU激活函数计算初始专家分数，经softmax概率化后，再通过动态阈值（dynamic thresholding）筛选出权重高于阈值的专家，并在归一化后对专家输出进行加权求和，得到该物品在该模态下的最终语义特征。第二程序为跳数感知的异构图标记化与编码。在这一阶段，将经过MoE增强后的多模态特征与物品ID嵌入（ID embedding）进行加和融合，生成融合后的物品表示。用户节点仅保留ID嵌入。随后，基于归一化邻接矩阵进行K跳特征传播（k-hop feature propagation），并为每个节点构建包含初始特征与各跳传播特征的多视图序列。每一跳的特征通过随机掩码（random mask）生成多个视图。为区分用户-物品异构图中的偶数跳与奇数跳在语义上的差异，本研究引入了奇偶位置编码（odd-even positional encoding）：奇数跳对应异构（用户-物品）交互，偶数跳对应同构（用户-用户或物品-物品）协同信号。由于Mamba模型在处理序列时允许后序位置整合前序信息，作者将多跳邻居特征序列反转后输入Mamba编码器，使得节点自身位置能够聚合其多跳邻居信息。第三程序为跨模态对齐与推荐优化。模型采用InfoNCE损失来对齐物品最终表示与其视觉或文本模态表示，从而缓解跨模态语义不一致。同时采用贝叶斯个性化排名（Bayesian Personalized Ranking, BPR）损失进行个性化推荐训练，其中BPR损失不仅考虑物品最终表示，也包含多模态特征的辅助排名项。最终总损失为BPR损失与跨模态对齐损失的加权组合。第四程序为实验评估与验证。实验在三个亚马逊评论数据集的子类别上进行，包括Baby、Sports and Outdoors以及Clothing, Shoes and Jewelry，均采用5-core方法进行预处理，并按照8:1:1比例划分训练集、验证集和测试集。视觉特征由预训练卷积神经网络提取为4096维向量，文本特征通过sentence-transformers编码为384维向量。所有模型嵌入维度固定为64，采用Adam优化器，在Tesla V100 GPU上训练，设置早停轮数为20，最大训练轮数为1000，以验证集上的Recall@20作为早停指标。实验涉及一般协同过滤模型、基于图的推荐模型以及多模态推荐模型三大类基线方法，采用Recall@10、Recall@20、NDCG@10和NDCG@20四个评价指标。此外，还进行了消融实验、超参数敏感性分析和时间复杂度分析。

实验结果显示，MAMoE4Rec在所有三个数据集和所有评价指标上均优于所有基线方法。在Baby数据集上，MAMoE4Rec的Recall@10达到0.0658，Recall@20达到0.1020，NDCG@10为0.0355，NDCG@20为0.0452，相比表现最强的基线LGMRec分别提升2.02%、2.00%、1.72%和2.73%。在Sports数据集上，四个指标的提升幅度分别为1.94%、2.61%、2.56%和3.34%。尤其值得关注的是Clothing数据集，MAMoE4Rec的Recall@10和Recall@20提升幅度分别达到11.71%和12.56%，显著优于其他模型，这体现了该方法在复杂物品语义理解方面的优势。配对双侧t检验的结果显示，所有p值均小于0.05，表明提升具有统计显著性。消融实验表明，去除奇偶位置编码、禁用MoE增强、去除多模态特征以及去除跨模态对齐损失均会导致性能下降，其中去除多模态特征和奇偶位置编码的负面影响最为明显。即便在去除多模态特征的情况下，该模型仍优于LightGCN，证明了基于Mamba的交互图编码器在捕获高阶结构信息方面的有效性。超参数敏感性分析显示，在BPR损失中多模态项的权重λ在10⁻³附近表现最佳，跨模态对齐损失的权重α在10⁻⁴至10⁻³范围内较为稳定。对于MoE专家配置，中等数量的专家池（如P=16，τ=0.06）在表达能力和优化稳健性之间实现了良好平衡。时间复杂度分析表明，在同一图到序列表示下，标准Transformer层需要O(L²d+Ld²)时间和O(L²+Ld)内存，而Mamba的选择性状态空间层只需要O(Ld²+Ld)时间和O(Ld)内存，序列长度L方面的复杂度由二次方降为线性，这在大规模长序列场景中具有明显优势。

本研究的结论表明，MAMoE4Rec通过将跳数感知的异构图编码与Mamba序列建模架构相结合，并引入动态专家选择机制和模态对齐模块，有效解决了多模态推荐中结构感知不足与语义融合不充分的问题。该框架在三个真实世界亚马逊数据集上的一致优异表现验证了其在结构学习、特征融合与语义适配方面的有效性。本研究的科学价值在于提出了一种将图标记化、状态空间序列模型与稀疏专家路由有机融合的新范式，为多模态推荐系统中的长程依赖建模和过度平滑问题提供了新的解决思路。其应用价值在于，该方法可部署于电子商务、内容平台等实际推荐场景，尤其适用于物品语义丰富且交互数据稀疏的垂直领域。本研究的亮点在于：第一，提出了奇偶位置编码来显式区分用户-物品交互图中不同跳数之间的异构与同构语义；第二，将轻量级稀疏MoE模块嵌入物品级编码器，以自适应地弥合通用预训练模型与垂直推荐领域之间的语义鸿沟；第三，利用Mamba模型在保持线性时间复杂度的同时捕获长程依赖，避免了传统GNN的过度平滑问题和Transformer的高计算成本。此外，本研究也指出了当前方法的局限性，例如对多模态信号质量和完整性的依赖、对更多样化真实场景泛化能力的待验证性，以及在大规模部署中的计算成本问题，这些为后续工作提供了明确的研究方向。