基于扩散模型与连续令牌的生成式推荐系统研究：ContRec框架介绍

作者、机构与发表信息 本项研究的主要作者包括：屈浩浩（香港理工大学）、林善如（香港城市大学）、丁玉娟（香港理工大学）、王毅奇*（国防科技大学，通讯作者）以及范文琦（香港理工大学）。该研究以论文形式发表，收录于ACM Web Conference 2026 (WWW ‘26) 的会议论文集，会议于2026年4月13日至17日在阿拉伯联合酋长国迪拜举行。

学术背景与研究动机 本研究属于人工智能与信息检索的交叉领域，具体聚焦于利用生成式人工智能（Generative AI）技术，特别是大语言模型（Large Language Models, LLMs）来增强推荐系统（Recommender Systems, RecSys）的性能。近年来，LLMs凭借其强大的泛化能力和上下文学习能力，为构建新一代生成式推荐系统开辟了新的道路。

然而，现有大多数基于LLM的推荐系统都运行在离散空间。为了与LLMs固有的离散词汇表特性对齐，这些方法通常采用向量量化（Vector Quantization）技术（如VQ-VAE）将用户和项目编码为离散的令牌序列。尽管这种方法在实践上可行，但其存在两个关键局限性：首先，量化过程是有损的（lossy），不可避免地会丢失信息，导致次优的表示学习；其次，量化中的“argmin”操作不可微分，通常需要使用“直通估计器”（straight-through estimator）进行梯度近似，这种近似可能不准确，阻碍模型学习到高质量的潜在空间。这些局限性在视觉、视频等多模态建模领域已受到关注，有研究指出，基于量化的模型在模型规模扩大时性能提升有限，而采用连续令牌的模型则展现出更好的表示能力。

与此同时，扩散模型（Diffusion Models）在处理连续数据（如图像、蛋白质结构）方面取得了巨大成功。初步实验表明，在推荐场景下，使用连续表示和扩散模型进行项目嵌入重建，其重建精度和损失收敛速度均优于离散量化方法。这启发了研究者思考：能否将连续令牌与扩散模型的优势引入基于LLM的推荐系统？

基于此背景，本研究旨在解决现有LLM推荐系统中离散令牌的局限性，探索连续令牌在生成式推荐中的应用潜力。具体研究目标是：提出一个能够无缝整合连续令牌到LLM推荐系统中的新框架，通过非量化的用户/项目编码和高保真的用户偏好生成，提升推荐系统的性能与表达能力。

研究方法与详细工作流程 本研究提出了一种名为ContRec（Diffusion Generative Recommendation with Continuous Tokens）的新型框架。该框架的核心思想是利用连续令牌对用户和项目进行编码，并利用扩散模型强大的连续数据生成能力来建模和生成隐含的用户偏好。整个研究流程包含两大核心模块的设计、训练与推理，以及一系列严格的实验验证。

1. 核心模块一：σ-VAE 令牌化器（Tokenizer） 该模块负责将用户和项目的原始特征（如ID、文本、图像等或其嵌入表示）编码为连续的、非量化的令牌序列，以替代传统的离散量化令牌。 * 输入与目标：输入x是用户或项目的基础嵌入（例如，从文本描述获得的嵌入或从图神经网络LightGCN学得的协同过滤嵌入）。目标是重建输入特征，同时学习到具有丰富表达力的连续潜在表示。 * 方法细节：该令牌化器基于变分自编码器（Variational Auto-Encoder, VAE）框架，但针对标准VAE可能出现的“通道方差塌缩”（channel variance collapse）问题进行了三项关键改进：(i) 基于伯努利分布的掩码操作：在编码器输入中加入随机掩码（masking ratio ρ），以增强模型的鲁棒性。(ii) K路并行编码器：采用多个子编码器（K-way encoder）进行并行编码，实现隐式编码，增加表示容量。(iii) σ高斯核：在从编码器输出的均值μ_k采样潜在变量z_k时，引入一个从高斯分布采样的标量系数σ_k（方差γ由第一批训练样本计算得出），即 z_k = μ_k + σ_k ⊙ ε (ε ~ N(0,1))。这个σ核强制潜在空间保持固定的方差，有效防止了塌缩。 * 训练目标：通过一个K合一的解码器（decoder）将K个连续令牌{z_k}重构为x̂。训练损失函数为：L_vae = ||x̂ - x||₂² + β Σ ||μ_k||₂²。第一项是重构误差，第二项是KL散度正则项，用于约束潜在变量接近先验分布，β是权衡超参数。

2. 核心模块二：分散式扩散（Dispersive Diffusion）模块 该模块旨在利用扩散模型学习一个连续分布的用户偏好表示空间，其条件信息来自于LLM对用户历史行为的推理输出。 * 输入与条件：目标是为目标用户u_i生成一个代表其偏好的连续向量y_i（即目标待推荐项目的嵌入）。扩散过程的条件（conditioning）c_i 来自于LLM骨干网络对用户历史交互序列进行推理后输出的前L-1个令牌的聚合表示（c_i := f_c(y_i^1, …, y_i^{L-1})）。这样，扩散模型可以看作是LLM的“下一个连续令牌预测器”。 * 方法细节：采用条件去噪扩散概率模型（Conditional Denoising Diffusion Probabilistic Model, DDPM）进行训练。在反向去噪过程中，模型学习从标准高斯噪声中逐步恢复出目标项目嵌入y_i，该过程以LLM提供的条件c_i为指导。去噪网络由Transformer编码器层（编码条件信息）、前馈层和投影层组成。 * 创新损失函数——分散损失（Dispersive Loss）：为了提升学习到的表示质量，受对比学习启发，研究者引入了一种无需显式正负样本对的“分散损失”。该损失鼓励同一个批次（batch）内所有样本的中间表示（h_i）相互远离，起到一种“排斥”正则化的作用，公式为：Ldisp = log E{i,b}[exp(-d(h_i, h_b)/ι)]，其中d是平方L2距离，ι是温度参数。该损失与标准的扩散重构损失（L_diff = E ||ε - ε_θ(y_i^t, c_i, t)||₂²）结合，共同优化扩散模型。

3. 训练与推理流程 * 训练阶段：分为两步。首先，使用自监督重构目标单独训练σ-VAE令牌化器（固定LLM和扩散模型）。然后，固定训练好的令牌化器，联合训练LLM骨干和扩散模块。总损失函数为：L = L_llm + γ1 (L_diff + γ2 L_disp)，其中L_llm是LLM的自回归交叉熵损失，γ1和γ2是权衡超参数。 * 推理阶段：对于待推荐用户，首先通过令牌化器将其历史项目转换为连续令牌序列，与项目文本标题等离散令牌一起构成提示（Prompt），输入LLM进行偏好推理。同时，将LLM输出的条件c_i输入训练好的扩散模型，通过多步去噪生成用户偏好的连续表示ŷ_i。最后，采用混合检索机制计算每个候选项目v_j的最终得分：s_ij = (ŷ_i · q_j) / (||ŷ_i|| ||q_j||) * (1 + π)。其中，q_j是项目j的表示（来自令牌化器），π是一个布尔指示器：如果项目v_j的语义特征（如类别、品牌）与LLM推理文本中预测的特征匹配，则π为一个小的正数（如0.05），否则为0。通过对所有候选项目按s_ij排序，即可得到Top-K推荐列表。

4. 实验设计与对象 研究在四个公开基准数据集上进行了全面实验：LastFM（音乐艺术家）、ML1M（电影）、Beauty和Video Games（亚马逊商品）。数据按时间顺序划分训练集、验证集和测试集（90%/5%/5%），确保时间有效性。实验对比了四类基线模型：传统序列推荐模型（GRU4Rec, SASRec, SSD4Rec）、扩散推荐模型（DreamRec）以及五种先进的基于LLM的推荐系统（P5, CoLLM, TIGER, LLARA, TokenRec）。评估指标采用通用的HR@K和NDCG@K（K=10,20）。

主要研究结果 1. 整体性能优势：ContRec在四个数据集上的HR@10和NDCG@10指标上， consistently且显著地超越了所有基线模型。平均而言，ContRec比最强的离散令牌基线TIGER在HR@10和NDCG@10上分别提升了11.76%和10.11%。与同样尝试引入连续表示的基线（如CoLLM, LLARA）相比，ContRec也展现了明显优势，这验证了其提出的连续令牌化器与扩散生成模块协同工作的有效性。 2. 连续令牌与扩散模型的有效性验证： * 重建实验：在Beauty数据集上进行的项目嵌入重建实验（图1）直观显示，使用连续令牌和扩散模型的方法（Diffusion）在重建精度和训练损失收敛速度上均优于各种VAE及其离散量化变体（VQ-VAE, RQ-VAE, MQ-VAE）。这从表示学习角度证明了连续方法的优越性。 * 消融研究（Ablation Study）：系统性地移除或替换ContRec的各个组件后，性能均出现下降，证明了每个组件的必要性。特别是：(i) 将σ-VAE替换为离散的RQ-VAE或VQ-VAE会导致性能显著下降，证实了连续令牌化器的优势。(ii) 移除扩散模块（w/o diffusion）或分散损失（w/o L_disp）会造成大幅性能损失，突出了扩散模型在生成高质量连续用户偏好表示中的核心作用。(iii) 移除混合检索中的LLM语义匹配部分（w/o π）也会损害性能，说明结合LLM的显式推理与扩散模型的隐式表示能产生更全面的推荐。 3. 超参数鲁棒性分析：研究对关键超参数进行了深入分析，结果表明模型对损失函数中的权衡系数γ1、γ2，令牌化器的掩码比率ρ，以及每个用户/项目使用的令牌数K等参数的变化具有较好的鲁棒性。例如，掩码比率ρ在0.2时效果最佳；分类器无关引导（Classifier-Free Guidance）强度ω取较小值（如2）时能提升性能，过大则可能过拟合。 4. 模块贡献分析：实验表明，基于LLM的方法普遍优于传统的协同过滤和序列模型，体现了LLM强大的推理能力。在LLM方法内部，使用连续令牌的方法（CoLLM, LLARA）优于纯离散方法（P5），而使用了先进令牌化器的离散方法（TokenRec）又优于简单的连续投影方法。最终，ContRec通过完整的连续令牌化与扩散生成框架，取得了最佳性能，说明了其设计的前瞻性和有效性。

研究结论与价值 本研究成功提出了ContRec框架，首次将连续令牌化与扩散生成模型系统性地整合到基于LLM的生成式推荐系统中。通过创新的σ-VAE令牌化器避免了离散量化的信息损失和梯度传播问题，并通过分散式扩散模块高效地建模了用户偏好的连续分布。大量实验证明，该框架在多个真实数据集上超越了现有最先进的推荐方法。

科学价值：本研究为生成式推荐系统开辟了一条新的技术路径，即从“离散令牌”范式转向“连续令牌”范式。它证明了在推荐系统中，利用扩散模型处理连续表示并结合LLM的语义推理能力，可以更精细地捕捉用户偏好，实现更高质量的推荐生成。这为下一代推荐系统的设计提供了重要的理论依据和实践方向。

应用价值：ContRec框架能够生成更准确和个性化的推荐结果，同时LLM部分可以提供推荐理由，增强系统的可解释性和用户信任。该框架具有较好的通用性，可应用于电商、音乐、视频等多种推荐场景。

研究亮点 1. 范式创新：首次系统性地提出并验证了在LLM推荐系统中使用连续令牌的可行性与优越性，突破了传统离散量化方法的局限。 2. 方法创新： * 设计了σ-VAE令牌化器，通过掩码、并行编码和σ核三项技术，有效防止了连续表示学习中的方差塌缩问题。 * 提出了分散式扩散模块，将扩散模型作为条件生成器接入LLM，并引入了分散损失作为无需负采样的对比正则项，提升了生成表示的质量。 * 设计了混合检索机制，巧妙地将LLM的显式语义推理与扩散模型生成的隐式连续偏好表示相结合，进行最终的项目排序。 3. 实证充分：通过全面的实验（性能对比、消融分析、超参数研究、重建实验）严谨地验证了各个组件的贡献以及整体框架的有效性，结论可靠。

其他有价值内容 论文还提供了详细的算法伪代码、提示模板示例、以及与相关工作的深入对比（LLM推荐系统、连续令牌与扩散模型）。作者已公开源代码，促进了研究的可复现性。这项工作标志着推荐系统研究向更强大的生成式人工智能架构迈出了重要一步。