本文提出了一种用于多模态序列推荐（Multimodal Sequential Recommendation，MSR）的新框架——ScopeRec。该研究由The University of Hong Kong的Shujie Li、South China University of Technology的Guanghu Yuan、Shenzhen MSU-BIT University的Feng Liang、Runhao Zeng、Xiping Hu、Chengming Li以及The University of Hong Kong的Jinfeng Xu、Edith C. H. Ngai等人共同完成。论文发表于第35届ACM International Conference on Information and Knowledge Management（CIKM ’26），会议于2026年11月7日至11日在意大利罗马举行。Shujie Li与Guanghu Yuan为共同第一作者，Xiping Hu与Chengming Li为通讯作者。

该研究属于推荐系统与多模态表示学习的交叉领域。序列推荐的核心任务是根据用户的历史交互顺序预测其下一个可能感兴趣的物品。传统方法以物品ID嵌入为基础，虽然能够建模用户动态偏好，但无法利用物品本身丰富的文本描述与视觉信号。近年来，多模态序列推荐通过引入预训练编码器提取的文本与图像特征来增强物品表示，取得了一定进展。然而，现有工作主要集中在多模态特征的融合策略或下游序列模型的设计上，并未深入探讨一个重要问题：如何获得真正与推荐任务对齐的物品表示。现成的预训练编码器通常在大规模通用语料上训练，其输出表示强调广泛的语义相似性，而非推荐场景中驱动用户选择的具体线索。这导致两个问题：其一，表示捕捉了宽泛的语义类别，却难以反映由交互序列产生的用户特定结构，限制了在兴趣演化和长尾物品推荐上的表现；其二，表示是聚合性质的，将各种语义成分同等对待，导致真正驱动用户决策的线索被无关或冗余内容稀释。针对上述局限，本文提出了ScopeRec框架，其核心思想是从两个互补视角重塑多模态表示：从物品视角挖掘序列级语义共现（semantic co-occurrence），从用户视角建模语义聚焦（semantic focus）。

ScopeRec的整体框架包括四个主要模块：语义共现挖掘模块、语义聚焦感知模块、层次化表示融合模块以及下一物品预测模块。在语义共现挖掘模块中，作者首先使用冻结的CLIP文本编码器和图像编码器分别提取每个物品在多个中间层及最终层的隐藏状态。选择浅层、深层和最终层三个代表性层次，理由是不同层编码了从浅层模式到深层语义的互补信息。对于一个用户的行为序列，将各层的模态表示按照时间顺序组织成序列，然后在其上施加带有因果掩码的多头自注意力机制。因果掩码确保预测时只会关注当前及过去物品，避免信息泄漏。通过一个Transformer块的处理，获得语义共现表示，再以可调系数λ将其注入原始模态表示中。这样既保留了物品本身的内在语义，又增强了其与历史上下文的关联，从而得到更具序列感知的嵌入。语义聚焦感知模块采用层次化的专家混合（Mixture-of-Experts，MoE）架构。每个模态和每个保留语义层分别部署独立的MoE模块。每个专家可以看作一个兴趣专家，关注不同的语义区域；门控网络根据输入表示动态地为各专家分配权重。该设计能够选择性地保留信息成分并抑制噪声，解决了粗粒度表示中用户偏好被模糊的问题。层次化表示融合模块的作用是将来自不同模态和不同语义层次的多个表示融合为一个以用户为中心的嵌入。与传统的MoE中所有专家共享相同输入不同，该模块中的每个融合专家接收各自模态和层次特定的输入，从而隔离不同语义源的学习，减少跨源干扰。共享门控网络基于所有源表示的拼接生成权重，灵活地强调对当前用户最具信息量的模态与语义层。最后，下一物品预测模块采用标准的序列推荐骨干模型（如SASRec），将原始ID嵌入序列替换为经过语义共现增强和语义聚焦处理后的多模态行为表示序列。训练采用批内负采样，并通过减去候选物品的对数流行度进行logit校正以缓解流行度偏差，同时屏蔽用户历史交互物品以避免假阴性。测试阶段分为离线物品嵌入预计算和在线用户偏好评分两个部分。物品嵌入通过对其出现的所有序列上下文中的表示取平均得到，随后存入嵌入表供检索。

在实验部分，作者在三个公开的Amazon评论数据集上进行了评估，分别是Industrial and Scientific、Musical Instruments和Office Products。数据集统计信息为：Scientific包含12,076个用户、20,314个物品和81,711条交互；Instrument包含10,000个用户、19,246个物品和75,022条交互；Office包含10,000个用户、22,785个物品和71,276条交互。基线包括基于ID的序列推荐模型GRU4Rec和SASRec，以及多种先进的多模态序列推荐模型Nova、UniSRec、MissRec、IISAN、TedRec、IISAN-VS、PMMRec和HM4SR。评价指标采用Hit Ratio（HR@K）和Normalized Discounted Cumulative Gain（NDCG@K），K取5和10。在所有三个数据集上，ScopeRec在全部指标上均取得最优结果，相比第二好的基线相对提升13.8%至28.7%。具体来看，在Instrument数据集上，NDCG@5提升15.0%，NDCG@10提升13.8%，HR@5提升17.1%，HR@10提升18.7%；在Office数据集上，NDCG@5提升27.7%，NDCG@10提升23.0%，HR@5提升19.5%，HR@10提升28.7%；在Scientific数据集上，NDCG@5提升21.1%，NDCG@10提升17.8%，HR@5提升15.7%，HR@10提升14.4%。相对增益在Office数据集上最大，作者认为这是因为该数据集的物品空间更大、更多样，暴露了更多的共现模式和更丰富的跨物品语义。在数据稀疏的Scientific数据集上ScopeRec依然稳定超越基线，说明其层次化表示和显式共现建模缓解了纯ID方法或粗粒度多模态模型的冷启动问题。此外，所有多模态方法均明显优于基于ID的方法，再次验证了多模态内容对于捕捉用户兴趣演化的价值。

消融实验表明，语义共现挖掘模块与语义聚焦感知模块带来的提升幅度最大。仅添加语义共现模块就能使NDCG@10相比基础变体提升约67%，说明序列级关联缺失是标准流程中的一个主要瓶颈。语义聚焦感知模块的增益幅度与之相当，表明均匀聚合多模态内容引入的噪声同样具有显著危害。两者叠加后进一步带来额外增益，说明其作用是互补的。层次化融合模块也提供了一致的改进。在参数敏感性方面，λ在0.2至0.5之间时模型表现最佳，且在很宽范围内保持稳定；当λ过小时共现信号过弱，过大时原始物品语义被过度淹没。效率分析显示，ScopeRec的训练时间明显快于全量微调和LoRA方法，相比以效率为导向的IISAN仅有极小额外开销；GPU显存使用约为全量微调的六分之一，比LoRA减少约70%。这源于其将骨干模态编码器冻结、仅训练轻量语义挖掘与MoE模块的设计。可视化分析表明，经过语义聚焦后的表示更加集中，不同专家确实关注了不同的语义区域，形成了分离良好的模式。一个来自Office数据集的案例显示，历史物品在文本和视觉上均围绕胶带（tape）这一主题，ScopeRec的Top-5推荐准确抓住了用户的胶带购买意图，即使历史中存在无关物品也能隔离持久兴趣与偶然噪声。

本文的主要贡献包括：系统性地研究了多模态序列推荐中的序列级语义共现，这是据作者所知首次在该任务中对此进行专门建模；提出了层次化MoE机制以在多语义层次上自适应聚焦与用户偏好最相关的语义成分，有效抑制噪声并产生更具判别力的表示；在三个公开基准上一致超越最先进的基线，并提供了关于如何更有效利用多模态信息的详细分析。作者还讨论了共现挖掘有效的原因，即它将物品级语义与序列级关联解耦，使下游序列模型的学习更容易；层次化专家的价值在于不同层捕捉互补信息，且最优层次因用户和物品而异。研究的局限性与未来工作方向包括：当前层次选择策略固定，未联合微调模态编码器；未来可探索自适应层次选择和轻量编码器适配、将语义共现与跨域迁移结合、将框架嵌入工业多任务学习流程，以及在更大规模多模态基础模型上建立推荐感知语义的理论认识。