本文提出了一种面向多模态生成式推荐（Multimodal Generative Recommendation）的累积式模态标记化方法 AMTGR（Accumulative Modality Tokenization for Multimodal Generative Recommendation）。该研究由清华大学计算机科学与技术系、智能产业研究院（AIR）及美团公司的研究者共同完成，作者包括 Shenghao Yang、Zhiqiang Guo、Weizhi Ma、Min Zhang 和 Lei Wang。论文发表于第35届 ACM 信息与知识管理国际会议（CIKM ’26），于2026年11月7日至11日在意大利罗马召开。
生成式推荐（Generative Recommendation）是近年来推荐系统领域备受关注的新型范式。其核心思想是将物品的连续语义表示离散化为语义 ID（Semantic ID），再将推荐任务转化为序列生成问题，从而利用生成模型的序列建模能力预测用户可能感兴趣的下一个物品。早期工作主要利用文本模态构建语义 ID，后续方法开始引入图像等多种模态信息以丰富物品语义。然而，现有方法在标记化（Tokenization）与生成（Generation）两个阶段均将不同模态独立处理，导致模态融合不充分、推荐阶段跨模态整合不足。此外，模态标记器通常仅以表示重构或对齐目标进行优化，缺乏面向推荐的监督信号，限制了语义 ID 的表达能力。
针对上述问题，作者提出了 AMTGR。该方法利用多模态大语言模型（MLLM）作为统一标记器，通过其固有的因果注意力机制逐步累积并融合多模态信息。同时，设计了一个协同感知重构任务作为标记器的优化目标，使生成的多模态语义 ID 具备推荐导向性。在推荐阶段，所有模态的语义 ID 被联合输入生成模型，实现跨模态信息的有效整合。
在方法设计上，整个框架包含两个阶段。第一阶段为累积式模态标记化。给定物品的多个模态表示（如文本、图像、行为），首先通过模态专用编码器和投影器获得各模态的潜在表示，然后将所有模态表示拼接输入 MLLM。MLLM 的 Transformer 层通过因果注意力实现词元级（Token-level）的跨模态交互，例如捕捉物品图像中特定区域与标题中特定词语之间的对应关系。注意力机制能够比传统的全局对齐方法更精细地提取局部模态特征。融合后，对每个模态的输出表示以及整体融合表示分别进行池化，并使用优化乘积量化（OPQ）生成各模态的语义 ID。OPQ 生成的语义 ID 各码位之间相互独立，支持并行解码。第二阶段为多模态生成式推荐。给定用户历史交互序列，先将每个物品经累积式模态标记器转换为多模态语义 ID；然后将各模态语义 ID 的码嵌入分配给可学习的嵌入表，并对每个物品的多码表示进行聚合，得到物品级模态表示。模型采用 Transformer 解码器对历史序列建模，并利用混合注意力策略防止同一物品不同模态之间的相互干扰。生成阶段使用模态专用生成头并行预测下一物品各模态的语义 ID。
标记器的优化策略是本文的重要贡献之一。现有方法多以重构原始表示为训练目标，缺乏推荐信号。AMTGR 提出两种重构任务：模态重构和协同感知重构。模态重构要求模型在理解物品多模态信息的基础上生成物品标题；协同感知重构则要求模型以某物品为输入，生成与其经常共同购买或共同观看的相关物品标题。通过指令微调（Instruction Tuning）训练 MLLM，使标记器显式学习物品间的协同过滤信号，从而将推荐知识注入语义 ID 的构建过程。
为验证方法有效性，研究者在四组公开数据集上进行了实验，包括来自 Amazon Reviews 数据集的 Toys_and_Games、Beauty、Sports_and_Outdoors 三个子集，以及大规模短视频推荐数据集 MicroLens。实验采用留一法划分训练、验证和测试集，并报告 HR@5、HR@10、NDCG@5、NDCG@10 指标。基线模型覆盖 ID 类方法（SASRec、BERT4Rec、FDSA、S3-Rec）、模态类方法（UniSRec、MISSRec）、语义 ID 类方法（TIGER、LETTER、RPG）以及多模态语义 ID 类方法（MQL4GRec、MacRec）。实验结果显示，AMTGR 在所有数据集上均取得最优性能。例如在 Toys 数据集上 HR@5 达到 0.0708，显著优于最强基线 RPG 的 0.0573；在 MicroLens 上 HR@5 达到 0.0505，也明显高于其他方法。作者将性能提升归因于累积式模态融合、推荐导向的语义 ID 构建以及联合模态生成三方面因素。
消融实验进一步验证了各组件的贡献。移除累积式模态标记化、移除协同感知重构任务、移除 MLLM 统一标记器以及移除模态专用生成头均导致性能明显下降，其中移除 MLLM 的性能下降最为严重，说明统一标记器在模态融合与知识学习中的关键作用。效率分析表明，AMTGR 在推荐阶段的训练和推理耗时虽有增加，但相比自回归式多模态基线方法仍具有明显优势，整体在效果与效率之间取得了良好的平衡。
模态融合能力的分析显示，将 AMTGR 生成的多模态语义 ID 应用于自回归生成模型 LETTER 也能显著提升其性能，说明累积式标记化具备较好的泛化性。此外，AMTGR 可以通过向 MLLM 输入中增加新模态的方式灵活扩展模态数量，无需像现有方法那样进行两两对齐。实验表明，从两种模态扩展到三种模态时，模型性能持续提升。对模态输入顺序的研究发现，不同顺序下性能波动较小，其中文本-视觉-行为顺序表现相对最佳。
在语义 ID 质量方面，研究者通过计算相关物品之间语义 ID 的匹配比例来度量语义相似度。结果显示，AMTGR 生成的相关物品语义 ID 相似度最高，且与推荐性能呈正相关。对码位数量的分析表明，Amazon 数据集上码位数量为 16 时性能最佳，而 MicroLens 在码位数为 32 时仍有提升，这可能是由于该数据集中用户交互更丰富，需要更多码位来表征物品。案例研究通过可视化 MLLM 最后一层的跨模态注意力分布，发现模型能够准确关注图像与文本中语义对齐的区域，而独立的模态处理则容易引入图像背景或无关物体等噪声信息。
总体而言，AMTGR 的核心价值在于为多模态生成式推荐提供了一种统一的模态处理思路。它通过 MLLM 的注意力机制在词元级别实现早期模态融合，通过协同感知重构任务让标记器直接学习物品间的关系模式，再通过并行生成与混合注意力策略实现推荐阶段的联合模态建模。研究不仅显著提升了多模态生成式推荐的准确性，也为未来在该方向上引入更多模态以及更丰富的推荐监督信号提供了可行的技术路径。