UTGRec：面向可迁移生成式推荐的通用物品标记化方法研究

本研究由中国人民大学高瓴人工智能学院的Bowen Zheng、Wayne Xin Zhao及Ji-Rong Wen联合腾讯微信事业群的Hongyu Lu和Yu Chen共同完成，发表于第49届国际ACM SIGIR信息检索研究与发展会议（SIGIR ’26），会议将于2026年7月20日至24日在澳大利亚墨尔本举行。其中Wayne Xin Zhao为通讯作者，研究代码已在GitHub上公开发布。

一、研究背景与问题定义

本研究属于推荐系统与生成式人工智能的交叉领域，聚焦于序列推荐任务中的物品标记化（item tokenization）问题。近年来，生成式推荐（generative recommendation）作为一种新兴范式受到广泛关注，其基本框架包含两个核心组件：物品标记器（item tokenizer）和生成式推荐器（generative recommender）。物品标记器将每个物品表示为一系列编码作为其标识符，生成式推荐器则以自回归方式生成目标物品标识符，从而在序列到序列的框架下实现下一物品预测。

然而，现有方法存在一个根本性局限：物品标记器和推荐器通常针对特定领域进行训练，难以有效迁移或适配到新领域。传统生成式推荐方法依赖单一领域内的物品嵌入进行聚类或训练RQ-VAE，导致所学标记器缺乏跨领域迁移能力。尽管将多领域数据直接混合训练看似可行，但简单的K-means算法或基于MLP编码器的RQ-VAE架构难以有效捕捉多领域间多样而复杂的语义信息。此外，预编码的物品嵌入无法与标记器模型联合训练，限制了模型在物品语义学习方面的潜力。

针对上述挑战，本研究旨在开发一种通用物品标记器，使其能够在多个领域间进行有效迁移，同时能够适应新领域。研究需要解决两个关键技术问题：其一是多领域物品的多样性和复杂语义要求标记器模型具备强大的内容理解与泛化能力；其二是需要在物品语义学习的同时有效整合推荐场景中的协同知识。

二、研究方法与工作流程

UTGRec的完整工作流程分为三个主要阶段：通用物品标记化、物品内容重建与协同知识整合、以及推荐器学习框架的构建。

在通用物品标记化阶段，研究首先采用多模态大语言模型（MLLM）对物品内容进行编码。具体而言，研究选择Qwen2-VL作为骨干模型，将物品的文本信息（如标题、特征、类别）和对应图像通过特定的提示词模板输入模型，将内容压缩为L个表示向量。提示词中包含特殊的视觉起始和结束标记以及L个编码标记，模型输出对应编码标记的隐藏状态作为物品内容的压缩表示。

此后，研究设计了一种新颖的树结构码本（tree-structured codebooks）用于表示离散化。针对现有RQ-VAE方法中多层表示高度相似以及多领域场景下码本表示坍缩的问题，研究首先引入前缀残差操作，将内容表示转换为基本表示和多层增量表示。具体做法是保留第一层表示作为基本表示，其余各层表示减去前一层表示以获得增量表示，这些增量表示捕捉了相对于前缀表示的信息差异，具有更高的多样性和可区分性。在此基础上，树结构码本由根码本和叶码本两部分组成。根码本专门处理基本表示，捕捉物品的主要内容信息；叶码本在多级增量表示之间共享，用于建模多领域的增量信息，从而提高码本利用率并促进多领域融合。为防止表示坍缩，每个码本被参数化为码本矩阵E和投影矩阵W的乘积形式，使得来自各领域的梯度能够驱动整个码本空间的更新，有效防止码本向量碎片化。离散化过程通过最近邻查找实现，优化目标包含停止梯度操作和平衡系数的码本损失函数。

在物品内容重建与协同知识整合阶段，研究提出了两项关键技术。第一项是原始内容重建。基于树结构码本获得物品编码及其对应的离散表示后，通过前缀残差操作的逆过程恢复离散内容表示。随后引入双轻量解码器分别重建原始文本和图像。文本重建采用单层Transformer解码器和双向注意力机制，输入由离散表示与掩码标记拼接而成，优化目标为负对数似然损失，本质上类似于掩码概率为100%的掩码语言建模任务。图像重建则采用小规模扩散模型，以扩散损失作为重建目标，该策略被证明优于传统的均方误差损失。文本重建损失和图像重建损失通过超参数α进行权衡组合。

第二项是协同知识整合。研究采纳推荐场景中的直观假设——共现物品具有相似性。对于用户交互序列中的每个物品，选择其单跳邻居作为协同知识整合的正样本。研究提出两个任务来实现协同整合：共现物品对齐采用对比学习，通过InfoNCE损失对正样本物品的内容表示进行对齐，批内负样本来自多领域混合数据，从而促进跨领域知识融合；共现物品重建则旨在确保正样本对的离散内容表示捕捉相似语义。由于离散表示从共享码本中查找，正样本物品的表示可能同时出现在负样本中，削弱了对比学习的可靠性，因此研究采用重建正样本物品内容的方式，该负独立方法隐式地鼓励物品的离散表示学习其正样本的一致语义。最终，通用物品标记器的整体优化目标整合了原始内容重建损失、码本学习损失以及两项协同知识整合损失，并通过超参数λ、μ和η进行权衡。

在推荐器学习框架阶段，研究采用两阶段策略。多领域预训练首先使用预训练的通用物品标记器将多领域物品统一映射到共享码空间的标识符，混合来自多个领域的编码序列作为预训练数据。对于冲突处理，研究重新分配最后一级编码到第二近邻或更远的邻居编码，而非像先前工作那样附加语义无关的额外编码。生成式推荐器采用T5作为骨干模型，通过最小化目标序列的负对数似然损失进行优化。下游微调分为物品标记器微调和生成式推荐器微调两个子阶段。物品标记器微调的关键创新在于固定树结构码本的主参数（E矩阵）以保留通用知识，仅微调投影矩阵（W矩阵）以融入领域特定适配。推荐器微调则使用微调后的标记器对新领域数据进行标记化，然后基于负对数似然损失微调预训练的生成式推荐器。

三、主要实验结果

研究在Amazon 2023评论数据集的九个领域子集上进行了大规模实验评估。五个领域（工艺品缝纫、婴儿用品、CD与黑胶唱片、手机与配件、软件）用于预训练，四个领域（乐器、工业与科学、电子游戏、办公用品）作为下游评估数据集。所有数据集经过五核过滤，保留交互次数不少于五次的用户和物品，物品序列按时间戳排序并限制最大长度为20。对于物品文本，拼接标题、特征和类别字段；对于物品图像，采用数据集中提供的大尺寸图像。

实验对比了三类基线方法：传统序列推荐器（GRU4Rec、BERT4Rec、SASRec、FMLP-Rec）、基于内容的序列推荐器（FDSA、S3-Rec、UniSRec、VQ-Rec、MissRec）以及生成式推荐器（TIGER、LETTER、TIGER_M、MQL4GRec、MacRec）。评估指标采用Top-K召回率和归一化折损累计增益（NDCG），K值设定为5和10，采用留一法进行数据集划分，并在全物品集上进行全排序评估，生成式推荐模型的束搜索大小设定为50。

实验结果显示，UTGRec在所有四个下游数据集的所有评估指标上均取得最佳性能。在乐器数据集上，UTGRec的Recall@10达到0.0616，相比最强基线MissRec的0.0590提升了4.4%；在Scientific数据集上，Recall@10为0.0481，较MissRec的0.0452提升6.4%；在Game数据集上，Recall@10为0.0909，较TIGER_M的0.0873提升4.1%；在Office数据集上，Recall@10为0.0462，较LETTER的0.0421提升9.7%。所有改进均通过配对t检验验证具有统计显著性（p<0.01）。

消融实验在乐器和Scientific数据集上验证了各技术组件的贡献。移除树结构码本导致Recall@10在乐器数据集上从0.0616降至0.0591，证明树结构码本能够更准确地捕捉多领域语义。移除共现物品对齐损失和共现物品重建损失分别使性能下降至0.0599和0.0607，表明协同知识整合对标记器泛化能力的重要性。取消标记器微调导致性能大幅下降至0.0551，说明领域特定适配对于解决领域偏移和缓解编码纠缠至关重要。固定码本主参数的策略优于完整微调（0.0559），证明保留预训练阶段学到的全局共享码结构对迁移性至关重要。移除推荐器预训练使性能降至0.0583，移除整个预训练流程则进一步降至0.0575，重申了预训练管道的核心价值。将Qwen-VL编码器替换为BERT并移除图像信息后性能降至0.0594，但仍显著优于纯文本基线方法。

可扩展性分析表明，UTGRec的性能随生成式推荐器层数增加而持续提升，而基线方法（TIGER、LETTER）在层数增加至一定程度后因过拟合而性能下降。这一发现证明通用物品标记化和推荐器预训练有利于生成模型的规模化扩展。长尾物品分析显示，UTGRec在所有交互频次分组中均优于基线模型，尤其在冷启动组（交互次数少于20）中优势更为显著，证明了通用物品标记化方法对长尾物品的显著优势。

效率分析方面，标记器预训练在16个H20 GPU上运行3个epoch约需2.1小时，推荐器预训练在4个H20 GPU上运行50个epoch约需2.7小时，标记器微调约需45分钟，推荐器微调约需40分钟，推理阶段使用4个H20 GPU和束大小50约需20秒。在生成式模型中，UTGRec实现了最快的推理速度，因其避免了额外的冲突处理标记，减少了解码步骤。

四、研究结论与价值

本研究提出了UTGRec，一个通过通用物品标记化实现可迁移生成式推荐的新颖框架。与先前学习领域特定标记器的方法不同，UTGRec引入了一个采用多模态大语言模型和树结构码本的通用物品标记器。为有效训练该标记器，研究设计了一种结合协同整合的物品内容重建方法，以原始物品内容为重建目标以学习更本质的特征，同时通过共现物品对齐和重建整合协同知识。基于通用物品标记器，研究开发了面向可迁移生成式推荐器的学习框架。

从科学价值而言，本研究首次系统性地解决了生成式推荐中物品标记器的跨领域迁移问题，提出的树结构码本设计有效缓解了多领域场景下的表示坍缩问题，前缀残差操作则解决了多层表示高度相似的难题。参数化码本表示方法（码本矩阵与投影矩阵的乘积形式）为码本优化提供了新的理论视角。从应用价值而言，UTGRec在多个公共数据集上的优异表现证明了其在实际推荐系统中的部署潜力，特别是对长尾物品和冷启动场景的显著改进具有很强的现实意义。预训练成本虽然较高，但属于一次性投入，可在多个下游数据集上重复使用，下游微调的训练和推理时间在生成式模型中具有竞争力。

本研究的主要亮点包括：首次将多模态大语言模型引入物品标记化任务并实现端到端联合训练；树结构码本的创新设计实现了多领域语义融合与码本利用率的平衡；双轻量解码器结合扩散模型的内容重建策略有效促进了离散表示的语义学习；共现物品对齐与重建的双重协同知识整合机制为标记器注入了推荐场景特有的协同信号；固定码本主参数仅微调投影矩阵的领域适配策略在保留通用知识和融入领域特性之间取得了良好平衡。