本文由安徽大学的Yi Zhang、Yiwen Zhang、Yu Wang以及昆士兰大学的Tong Chen、Hongzhi Yin共同完成。其中Yiwen Zhang和Hongzhi Yin为共同通讯作者。该研究发表于信息检索领域顶级会议SIGIR ‘25（第48届国际ACM SIGIR信息检索研究与发展会议），会议于2025年7月13日至18日在意大利帕多瓦举行。
推荐系统旨在通过建模用户与物品之间的交互来学习用户行为模式和偏好规则。传统协同过滤方法依赖用户或物品的ID构建嵌入表示，但在交互数据极度稀疏时，推荐效果往往受到严重影响。生成式推荐（generative recommendation）作为另一条探索路径，试图建立用户的全面偏好分布，基于已知数据点生成未知交互。其中变分自编码器（Variational Autoencoder，VAE）通过从有限交互中构建近似变分分布来隐式捕捉用户偏好模式。然而，生成式模型本质上受限于生成与输入相似的新样本，这不足以满足推荐任务中预测未知交互的需求；同时，生成模型还面临着表示能力与可解性之间的权衡。
随着预训练语言模型（Language Model，LM）的兴起，将语言模型融入推荐系统以增强模型表达能力成为研究热点。现有方法要么将推荐过程整合进语言模型的微调训练中，要么将语言模型作为推荐模型的辅助工具，通过文本嵌入模型将用户或物品画像映射到高维特征空间。然而，将这些方法直接应用于生成式推荐面临核心挑战：生成模型的输入输出格式及语义与语言模型之间存在不匹配，难以在特征空间中实现最优对齐。
本文的核心目标是解决上述挑战，提出一种名为DMREC（Distribution Matching-based framework for generative RECommendation）的模型无关生成式推荐框架。该框架引入概率元网络（probabilistic meta-network）作为语言模型输出与用户交互之间的桥梁，实现等价的概率建模过程，并通过三种跨空间分布匹配策略在最大化共享信息的同时保留各空间独特语义、过滤无关信息。
研究设定包含M个用户和N个物品的通用推荐场景。给定任意用户u，其历史交互存储为交互向量x_u∈R^{1×N}，若用户u与物品i存在观测交互则x_ui=1。推荐系统的任务是学习预测模型，预测用户u对所有未交互物品的偏好分数。
在协作空间（collaborative space）X∈R^d中，生成模型通过联合分布p(x_u,z_u)对观测数据点进行建模，其中z_u是用户u在协作空间中的d维连续隐变量。生成建模的目标是通过边际化隐变量来最大化似然p(x_u)。由于直接求解困难，研究者采用证据下界（Evidence Lower Bound，ELBO）作为代理目标来近似真实后验分布。ELBO包含两个部分：重构项（确保近似分布能采样出正确的隐向量以重构原始数据点）和反向KL散度（Kullback-Leibler divergence）正则化项（鼓励近似后验接近标准先验）。
VAE假设隐变量遵循具有对角协方差的多元高斯分布，即q_φ(z_u|x_u)=N(z_u|μ_φ(x_u),Σ_φ(x_u))，其中μ_φ和Σ_φ是由参数φ参数化的非线性均值和协方差函数。
研究者利用语言模型生成用户和物品的文本画像（profile）。具体而言，通过构建提示模板（prompt template）定义输入的用户和物品属性格式，使语言模型生成简洁且符合预设长度约束的概括性画像：s_u=f_lm(p(u))和s_i=f_lm(p(i))，其中物品i的提示包含标题、数据集特定标签和描述，用户u的提示包含其交互物品子集的描述和评论。随后，文本嵌入模型f_text将画像转换为固定维度的语义向量w_u∈R^{1×d_s}和w_i∈R^{1×d_s}，作为用户和物品的元知识（meta-knowledge）。
由于语义向量无法有效捕获用户偏好分布，研究者提出了概率元网络（probabilistic meta-network），通过元学习器f_φ:R^{d_s}→R^{2d}和基础网络g建立语义向量与历史交互之间的连接。基础网络的设计为：g(x_u,w_u,{w_i},i∈M(u))=w_i^T x_u + w_u，即将交互物品的元知识矩阵与交互向量的乘积加上用户元知识向量作为用户偏置。元学习器的输出被视为用户在语言空间Y中的近似后验分布p_φ(z_u|s_u)~N(μ_φ,Σ_φ)，通过重参数化技巧进行采样。
针对协作空间与语言空间之间的分布差异（包括概率密度、分布形状和支撑区域的显著偏差），研究者提出了三种不同的匹配策略：
（1）全局最优分布匹配（Global Optimality for Distribution Matching，GODM）：采用Wasserstein距离度量两个分布之间的传输成本，捕捉跨空间的几何差异。对于两个高斯分布，2-Wasserstein距离具有闭式解。GODM损失函数将编码器的KL正则化项与Wasserstein距离匹配项相结合：L_GODM=D_KL(q_φ||pz)+β·D{n-WD}(p_φ,q_φ)，其中β是控制匹配程度的权衡系数。该策略结合了最优传输的优势与KL散度的正则化效果。
（2）复合先验分布匹配（Composite Prior for Distribution Matching，CPDM）：由于GODM在输入信息噪声过多时可能导致直接匹配过程干扰两个空间的优化，CPDM引入了一个中间复合先验p_com=α·N(μ_φ,Σ_φ)+(1-α)·N(μ_φ,Σ_φ)（α默认设为0.5），作为桥梁分别量化变分分布q_φ与近似后验分布p_φ之间的分布差异：D_CP(p_φ,q_φ)=D_KL(p_φ||p_com)+D_KL(q_φ||p_com)。当α=0.5时，该式本质上成为标准Jensen-Shannon散度。CPDM对分布间的微小变化具有更大的容忍度，对零概率事件较不敏感。
（3）混合散度分布匹配（Mixing Divergence for Distribution Matching，MDDM）：MDDM旨在以间接方式实现GODM的匹配过程，同时简化CPDM的设计。其核心是将语言空间分布p_φ直接设为协作空间的先验，并通过混合系数β（β∈[0,1]）协调ELBO中的KL正则化项与KL匹配项：L_MDDM=β·D_KL(q_φ||p_z)+(1-β)·D_KL(q_φ||p_φ)。研究者进一步通过互信息分析证明，反向KL散度可分解为两个互信息项之差，并建立了与信息瓶颈理论的关系，表明通过优化变分分布和近似后验可实现信息压缩与生成质量之间的权衡。
DMREC框架采用多任务学习策略联合优化推荐任务和匹配任务：L_DMREC=L_rec+L_dm，其中L_rec为负重构误差，L_dm可为GODM、CPDM或MDDM中的任一策略。训练过程中，首先通过语言模型检索所有用户/物品画像，然后在每个训练批次中检索用户及交互物品的语义嵌入，计算协作空间中的变分分布q_φ和语言空间中的近似分布p_φ，重构用户完整交互，计算推荐损失和匹配损失，最后更新模型参数。
实验采用三个广泛使用的推荐数据集：Amazon-Book（11,000用户、9,332物品、200,860交互、99.80%稀疏度）、Yelp（11,091用户、11,010物品、277,535交互、99.77%稀疏度）和Steam（23,310用户、5,237物品、525,922交互、99.57%稀疏度）。所有数据集采用隐式反馈，评分低于3的交互被排除，按3:1:1比例划分为训练集、验证集和测试集。
基础生成模型包括：Mult-VAE（基于多项似然的经典VAE生成推荐方法）、CVGA（将图结构建模引入VAE的变分图自编码器）和L-DiffRec（将扩散模型引入生成式推荐，在分布空间中逐步添加高斯噪声）。语言模型增强基线包括：KAR、LLMRec、RLMRec（含对比策略RLMRec-C和生成策略RLMRec-G）以及AlphaRec及其变体AlphaRec*。
所有模型使用PyTorch实现，采用Xavier初始化和Adam优化器，批量大小为1,024。所有语言模型增强方法统一使用OpenAI的GPT-3.5-turbo作为语言模型、text-embedding-ada-002进行文本嵌入。评估指标采用Recall@N和NDCG@N（N∈[10,20]），使用全排序策略，以10个不同随机种子运行并报告平均结果。
实验结果表明，将DMREC的三种匹配策略分别融入三个基础模型后，各模型在三个数据集上的推荐性能均有不同程度提升。以Mult-VAE结合MDDM为例，DMREC-M在Amazon-Book、Yelp和Steam数据集上的Recall@20分别相对基础模型提升4.87%、6.06%和5.79%。CVGA在Steam数据集上基础表现较差（Recall@20为0.1339），但融入DMREC后提升至0.1536（DMREC-M），相对提升达14.71%，重新获得了竞争力。总体而言，GODM仅在Yelp数据集上取得最佳性能，而MDDM在大多数情况下是最佳模型，这归因于MDDM能够协同优化正则化项和匹配项，实现更细粒度的权衡。
训练效率方面，以CVGA为例，DMREC显著提升了基础模型的训练效率，同时每次迭代的时间仅略有增加。
DMREC-M（基于Mult-VAE和MDDM策略）与各语言模型增强基线方法在三个数据集上的比较显示，DMREC在Recall@20和NDCG@20两个指标上均取得了最佳推荐性能。例如在Amazon-Book数据集上，DMREC-M的Recall@20达到0.1571，显著优于最佳基线RLMRec-C的0.1483。研究者将这一优势归因于两个因素：生成式方法在整个物品集上生成概率，不依赖成对嵌入建模，减少了对稀疏交互的过度依赖；跨空间分布匹配为使用语言模型引导推荐过程提供了可行的路径，实现自适应权衡并避免后验崩塌等问题。
针对数据稀疏性问题的测试表明，在Yelp和Steam数据集中最稀疏用户组（交互数分别少于17和15，占比分别为55.2%和50.7%）上，DMREC相比基础模型取得了显著改进，同时在稠密用户组中保持了与基础模型相当的性能。这表明DMREC更侧重于稀疏用户的偏好预测，研究者将此归因于语言模型生成的用户画像能够从极有限的交互数据中提取隐式偏好，从而重构更丰富的用户交互。
采用log a_φ度量分布q_φ各维度的变化程度。结果表明，引入DMREC后，三个数据集上分布的方差总体呈现更高的箱线图跨度和中位数，同时保持更少的离群值。这说明每个分布维度对不同用户产生显著变化，能够编码更多有用信息，而无需改变模型结构或参数数量，同时降低了陷入后验崩塌陷阱的风险。
研究者构建了三个变体验证设计选择的必要性：DMREC w/o PMN（移除概率元网络，直接使用MLP进行映射）、DMREC Add（移除分布匹配策略，直接将两个分布相加用于重构）和DMREC w/o Mixing（移除混合设计，采用与GODM和CPDM一致的联合训练过程）。结果表明，移除元网络后性能显著下降，简单非线性映射不足以建立两个空间之间的连接；简单相加两个分布也无法有效建模跨空间分布匹配；移除混合机制后性能普遍下降，表明协调正则化项与匹配项的必要性。
DMREC仅引入一个额外超参数β来动态平衡正则化和匹配过程。对于GODM和CPDM，β作用于额外的匹配项，模型性能从0开始逐渐达到峰值。对于MDDM，当β接近0时（仅衡量匹配项），性能急剧下降并低于基础模型，表明完全依赖语言模型会显著干扰推荐过程；当β接近1.0时（仅衡量正则化项），性能下降并恢复至基础模型水平，表明仅依赖标准高斯先验进行正则化效果有限。
本研究重新审视了生成式推荐，提出了基于分布匹配的DMREC框架。其核心在于分别在协作空间和语言空间中建模用户偏好分布：协作空间中的分布建模依赖变分推断，语言空间中的分布建模基于所提出的概率元网络。基于此，研究者提出了三种不同的跨空间分布匹配机制（GODM、CPDM和MDDM）。在三个数据集上的实证实验证明，DMREC能够提升各类生成式模型的推荐性能，同时展现出优于其他语言模型增强方法的优势。
本研究的科学价值在于：从分布匹配的全新视角解决了生成式推荐中语言模型与协作信号对齐的核心难题，突破了传统嵌入级对齐方法的局限，为语言模型增强生成式推荐提供了理论框架和实用解决方案。其应用价值在于：DMREC作为即插即用的模型无关组件，可灵活应用于各类基于变分推断的生成式推荐模型，无需修改基础模型结构或大幅增加训练成本即可获得显著性能提升，尤其对稀疏用户群体的推荐效果改善明显，具有广泛的实用前景。
第一，模型无关的即插即用设计。DMREC不限制协作空间中生成模型的编码器/解码器结构，也不限制语言空间中的语言模型选择，可灵活应用于各类基于变分推断的生成式推荐模型。
第二，从分布视角实现跨空间对齐。区别于传统嵌入级对齐方法，DMREC在概率分布层面进行匹配，充分考虑了概率密度、分布形状和统计特性等复杂因素，实现了更本质的信息传递。
第三，三种匹配策略的互补设计。GODM通过Wasserstein距离实现几何最优匹配，CPDM通过复合先验增强鲁棒性，MDDM通过混合散度实现信息瓶颈视角下的简洁权衡，为用户提供了多样化的选择。
第四，信息论视角的理论分析。研究者通过互信息分解建立了KL散度与信息瓶颈理论的联系，从理论上解释了MDDM策略的有效性机制。