这篇文档属于类型a，是一份关于大型语言模型生成式推荐系统中ID标记化技术的原创研究报告。以下是基于该文档内容生成的学术报告。
TokenRec：为基于大语言模型的生成式推荐学习ID标记化
一、 研究作者、机构与发表信息
本研究的主要作者包括Haohao Qu、Zihuai Zhao、Qing Li，以及通讯作者Wenqi Fan。所有作者均来自香港理工大学（The Hong Kong Polytechnic University），其中Wenqi Fan隶属于计算学系（Department of Computing）及管理与市场学系（Department of Management and Marketing），其余作者隶属于计算学系。该论文于2024年提交至《IEEE Transactions on Knowledge and Data Engineering》期刊。
二、 研究背景与目标
本研究致力于推动基于大语言模型（Large Language Models, LLMs）的下一代推荐系统（Recommender Systems, RecSys）发展。近年来，ChatGPT、LLaMA等大语言模型的涌现为推荐系统领域带来了革命性的机遇，其强大的语言理解、生成和推理能力有望显著提升个性化推荐效果。然而，将LLM与推荐系统进行无缝集成，其核心挑战之一在于如何对用户和物品进行标记化（Tokenizing）。理想的标记化策略需要既能将离散的用户与物品ID转化为LLM可处理的符号（Tokens），又能有效捕捉高阶协同知识（High-order Collaborative Knowledge），并能推广（Generalize）至模型未曾见过的全新用户与物品。
现有的标记化方法存在显著局限。传统的独立索引（Independent Indexing）为每个用户和物品分配独特标记，在数十亿规模的推荐场景中会导致LLM的词表爆炸。文本标题索引（Textual Title Indexing）虽能利用物品标题等文本来避免此问题，却难以捕捉用户行为背后更深层的协同关系。P5等方法采用的全词嵌入（Whole-word embedding）和连续嵌入（Soft Indexing）的标记化方式，同样在捕捉高阶协同交互信息与对齐LLM离散语言空间方面表现不佳，泛化能力也极为有限。为应对上述挑战，本研究提出了一个名为TokenRec的新颖框架，旨在设计一种有效的ID标记化策略和一个高效的生成式检索范式，从而将高阶协同知识平滑融入LLM驱动的推荐过程，并克服传统LLM推荐模型推理效率低下的瓶颈。
三、 TokenRec框架的详细工作流程
TokenRec框架的构建与验证包含两个主要模块，并进行了一系列横跨多个真实世界数据集的综合实验。下面详细阐述其核心方法与工作流程。
1. 核心技术模块：掩码向量量化标记器（Masked Vector-Quantized Tokenizer, MQ-Tokenizer）
为了解决ID标记化中协同知识缺失与泛化能力不足的难题，本研究独创性地提出了MQ标记器。其核心技术流程是：首先，利用先进的基础图神经网络（Graph Neural Networks, GNN）推荐模型（如LightGCN）从用户-物品交互图中学习蕴含高阶协同知识的用户和物品表示（Representations）。具体来说，协同过滤（Collaborative Filtering, CF）通过分析用户行为历史获得用户和物品的稠密向量，这些向量是其协同特征的浓缩，成为后续量化的原型输入。例如，表示相似的物品或用户在潜在空间中距离更近。
随后，MQ标记器对上述学习到的协同表示进行量化，将其转化为一系列离散的标记。为增强量化过程的鲁棒性和泛化能力，研究者设计了两项创新机制： * 掩码操作（Masking Operation）：在编码阶段开始前，依据伯努利分布（Bernoulli Distribution）对输入的协同表示进行元素级别的随机掩码（Masking）。这一操作类似于在BERT预训练中使用的掩码语言模型，强迫编码器在信息不完整的情况下重建输入，从而学习更全面、更鲁棒的特征表示，避免过拟合，极大地提升了模型对新用户/物品的泛化能力。 * K路编码器与码本（K-way Encoder and Codebook）：不同于传统的单路向量量化（Vector Quantization, VQ），TokenRec采用一个K路编码器。输入的掩码表示会分别通过K个独立的多层感知机（MLP）编码器，生成K个潜在向量。每个编码器对应一个子码本（Sub-codebook），该子码本由L个可学习的码字嵌入（Codeword Embedding）组成。通过欧氏距离最近邻查找，将每个潜在向量映射为子码本中的一个码字标记。最终，一个物品或用户不再由单一ID表示，而是由一个包含K个离散标记的序列来表示，例如“item_
量化过程之后，设计了一个K对1解码器（K-to-1 Decoder），将K个被选中的码字嵌入进行平均池化（Average Pooling）后，通过MLP重建原始的协同表示。整个MQ标记器的训练目标包括三项损失：用于重建原始输入的重建损失（Reconstruction Loss）、用于更新码本的码本损失（Codebook Loss），以及用于稳定编码器输出的承诺损失（Commitment Loss）。通过这种端到端的训练，MQ标记器成功地将富含高阶协同知识的连续向量表示，转化为大语言模型可理解的少量离散标记，实现了从协同空间到语言空间的有效对齐。
2. 核心应用模块：生成式检索范式（Generative Retrieval Paradigm）
获得高质量的标记化ID后，TokenRec采用了一种摒弃传统LLM自回归解码（Auto-regressive Decoding）的高效推荐范式。其流程为： * 建模与提示（Modeling and Prompting）：研究者设计了包含或不包含用户历史交互物品的文本提示模板，将目标用户的MQ标记及其曾交互过的物品MQ标记作为输入，传入一个轻量级的LLM（如T5-small）骨干网络。LLM不再直接生成文本序列，而是作为用户查询的强大编码器，生成一个综合考虑了提示指令和用户偏好的隐向量（Hidden Representation）。 * 生成式检索：该隐向量通过一个三层MLP的投影层（Projection Layer）映射到一个与物品表示相同维度的稠密空间中，形成用户的“生成式物品偏好表示”（Generative Representation）。随后，通过计算该表示与向量数据库（Vector Database）中所有GNN物品表示之间的余弦相似度（Cosine Similarity），直接检索出分数最高的Top-K个物品作为推荐结果。模型的训练目标是一个成对排序损失（Pairwise Ranking Loss），旨在最大化用户偏好表示与其交互过的正样本物品表示之间的相似度，同时最小化与负样本物品的相似度。
这种生成式检索范式完全规避了LLM解码过程中的束搜索（Beam Search）等耗时操作，极大地缩短了推理时间。
四、 主要实验结果与分析
本研究在四个真实世界基准数据集上进行了广泛的实验，包括Amazon-Beauty、Amazon-Clothing、LastFM和MovieLens-1M。
1. 整体性能比较 实验结果表明，TokenRec在所有数据集上的HR@k和NDCG@k指标均显著优于所有基线模型，包括传统的矩阵分解（MF）、先进的图神经网络方法（如LTGNN）、最新的序列推荐方法（如S3Rec、CoSeRec），以及代表性的LLM推荐方法（如P5、CID、TIGER、CoLLM）。例如，在LastFM数据集上，TokenRec在HR@20上平均超出最强基线19.08%，在NDCG@20上超出9.09%。令人印象深刻的是，即便仅使用用户ID标记而不提供其历史交互记录（User ID Only），TokenRec的性能依然超越了大多数基线方法，这证明了其通过MQ标记器捕获的协同知识的有效性，并能有效规避LLM的输入长度限制。
2. 泛化能力评估 为评估模型对新用户的泛化能力，实验移除了训练集中最少交互的5%用户。结果显示，传统LLM推荐模型如P5和POD在面对未见用户时，性能下降超过40%。而融合了协同知识的CID和CoLLM虽有改善，但下降程度仍超过20%。相比之下，TokenRec凭借其强大的MQ标记器，在Amazon-Beauty数据集上的性能平均仅下降7%，展现出优异的泛化能力，这对于处理推荐系统中每天涌入的冷启动用户和物品至关重要。
3. 推理效率评估 在推理效率方面，TIGER因其采用压缩的语义ID而快于生成文本标题的P5和POD。而TokenRec因其生成式检索范式彻底绕开了自回归解码过程，其推理时间比基线模型平均快了约1259.81%，实现了数量级上的飞跃，在大规模实时推荐场景中具有极高的应用价值。
4. 消融实验与超参数分析 消融实验证实了TokenRec各个组件的关键作用：去除随机掩码或K路架构均导致性能下降；将GNN学得的高阶协同知识替换为矩阵分解的低阶表示时，性能出现断崖式下跌，突显了高质量协同知识的重要性。此外，用传统的VQ-VAE、RQ-VAE或简单K-means聚类替代MQ标记器后，性能均显著下滑，证明TokenRec的量化策略更为优越。超参数分析显示，掩码比率设置在0.2左右、子码本数量K取3、每个子码本标记数L根据数据集规模取256或512时，可达到最佳性能与效率的平衡。
五、 研究结论与价值
本研究提出了TokenRec框架，它通过两个核心创新成功解决了LLM推荐领域的关键挑战。首先，它设计了一种掩码向量量化标记器（MQ-Tokenizer），将GNN捕捉的高阶协同知识以离散标记的形式精准地注入LLM，实现了与自然语言的平滑对齐，并具备了卓越的泛化能力。其次，它开创了一种生成式检索范式，将LLM从耗时的文本生成器中解放出来，将其塑造为一个强大的用户偏好编码器，从而实现了极致高效的Top-K推荐。
本研究的科学价值在于，它提出了一个通用性强、可解释的ID标记化框架，为协同知识与语言知识的融合开辟了新路径，并为LLM推荐系统的冷启动和效率问题提供了理论解决方案。其应用价值则体现在，TokenRec不仅能提供最先进的推荐精度，还能以极低的计算代价应对现实中海量新用户和物品的涌入，在电子商务、社交媒体等大规模在线平台中具有巨大的部署潜力和商业前景。
六、 研究亮点总结