针对大型语言模型生成式推荐的迭代语义推理框架：从个体兴趣到群体兴趣

一、 作者、机构与发表信息

本文的主要作者为 Xiaofei Zhu、Jinfei Chen、Feiyang Yuan 和 Zhou Yang（通讯作者）。Xiaofei Zhu、Jinfei Chen 和 Feiyang Yuan 来自重庆理工大学计算机科学与工程学院，而 Zhou Yang 则来自重庆师范大学计算机与信息科学学院。这项研究成果以论文形式发表，计划于2026年4月13日至17日在阿拉伯联合酋长国迪拜举行的ACM网络会议（ACM Web Conference 2026，简称WWW ‘26）上宣读。论文的完整标题为《Iterative Semantic Reasoning from Individual to Group Interests for Generative Recommendation with LLMs》，并已被收录于该会议的论文集。

二、 研究背景与目标

本研究属于人工智能领域下的推荐系统方向，特别是结合大型语言模型（LLMs）的生成式推荐研究。推荐系统的核心目标是从用户的历史行为中学习其兴趣，并推荐相关物品。传统方法主要依赖物品ID序列进行建模，忽略了丰富的语义信息。近期研究开始利用物品的辅助信息（如品牌、类别）或LLMs来构建用户和物品的语义表示，以更好地理解用户兴趣。

然而，作者指出，现有的基于LLM的推荐方法大多侧重于语义的“整合”而非“推理”。根据用户行为理论，要真正理解用户兴趣，不仅需要整合语义信息，更需要一个从显性的个体兴趣到隐性的群体兴趣的“语义推理”过程。例如，用户点击一双具有“气垫中底”和“耐磨防滑外底”特征的篮球鞋，其显性兴趣可能是对硬地高性能的需求。但通过与行为相似的用户群体对比，可能发现该群体普遍还重视“透气性”和“轻量化设计”以在长时间运动中保持舒适和耐力，这揭示了更深层次的隐性兴趣。现有方法难以有效模拟这种逐步深入的推理过程。

因此，本研究旨在解决这一挑战，提出一个迭代语义推理框架，以更准确地学习用户兴趣。具体目标包括：1）利用LLMs进行多步双向推理，从物品属性中推断语义特征并建模用户的显性个体兴趣；2）基于相似用户群体构建用户语义图，推理群体层面的隐性兴趣；3）通过迭代优化策略，使显性兴趣与隐性兴趣相互指导、相互增强，实现一致且渐进式的兴趣推理，从而提升生成式推荐的性能。

三、 研究方法与详细流程

本研究提出的框架名为迭代语义推理框架，包含三个核心模块：个体兴趣推理模块、群体兴趣推理模块和迭代精炼模块。整个研究流程围绕这三个模块的设计、实现与验证展开。

1. 个体兴趣推理模块 此模块的目标是获取丰富的物品语义特征并建模用户的显性兴趣。 * 研究对象与数据处理：研究使用了三个公开的亚马逊产品评论数据集：Sports & Outdoors, Beauty, 以及 Toys & Games。这些数据集包含了用户、物品、交互序列以及物品的侧信息（如标题、描述、品牌、类别）。研究遵循与先前工作相同的数据预处理和划分协议，将每个用户的最后一次交互用于测试，倒数第二次用于验证，其余用于训练。 * 多步双向语义推理：为了充分利用LLMs的推理能力，本研究设计了一种链式思维推理提示方法，而非简单提取属性。对于每个物品，首先提示LLM基于其结构化属性进行前向推理，生成一个正向描述，例如“什么样的用户可能喜欢这个物品”。接着，以此正向描述为条件，提示LLM进行反向推理，生成一个负向描述，例如“什么样的用户可能不喜欢这个物品”。最后，将正向和负向描述融合，形成一个更全面、更具解释性的物品语义描述，例如“这个物品可能具备哪些关键属性”。这个过程通过引导LLM进行逐步推理，增强了物品语义表示的准确性和完整性。 * 语义特征提取与适配：使用预训练的文本编码器将生成的物品语义描述转换为高维语义向量。为了避免直接使用这些高维向量破坏原始语义结构，研究采用主成分分析方法将其降维到一个中间维度表示，并在训练过程中冻结此表示，以保持语义一致性。随后，通过一个可训练的适配器将这些降维后的语义特征映射到推荐任务所需的嵌入空间，生成最终的物品嵌入表示。 * 显性兴趣建模：基于生成的物品嵌入和随机初始化的用户嵌入，构建用户-物品交互图。然后，应用LightGCN图神经网络在交互图上进行信息传播，通过聚合用户交互过的物品信息来学习用户的显性兴趣表示。经过多层传播后，对各层输出进行平均，得到最终包含用户显性兴趣和物品上下文语义的嵌入矩阵。

2. 群体兴趣推理模块 此模块旨在捕获行为相似用户群体所共享的隐性兴趣。 * 用户语义推理：类似于物品推理，对于每个用户，从其交互历史中随机采样一部分物品，引导LLM生成该用户的正向兴趣描述。然后，以此正向描述为上下文，进一步推理生成负向兴趣描述。最终，整合两者形成该用户的综合兴趣语义描述。 * 用户语义图构建与隐性兴趣聚合：使用相同的文本编码器将所有用户的语义描述转换为语义嵌入。接着，计算所有用户对之间的余弦相似度，为每个用户选择Top-K个最相似的用户，基于此构建一个用户语义关系图。在该图上再次应用LightGCN，通过聚合相似用户的语义信息来精炼用户表示。最终得到的用户表示融合了来自相似用户群体的隐性兴趣信息。

3. 迭代精炼模块 此模块用于协调和整合前两个模块学到的兴趣表示，解决独立建模可能导致的表示不一致问题。 * 直接到序列表示对齐：在直接推荐任务中，将群体兴趣推理模块得到的用户隐性兴趣表示作为“教师”，将个体兴趣推理模块得到的用户显性兴趣表示作为“学生”。通过一个对比蒸馏损失函数，迫使显性兴趣表示向隐性兴趣表示对齐，从而利用群体隐性兴趣来优化个体显性兴趣建模。 * 序列表示对齐：在序列推荐任务中，目标是最大化用户隐性兴趣表示与用户偏好表示之间的互信息。用户偏好表示通过平均用户交互序列中物品的嵌入得到。通过引入另一个对比损失函数，对齐隐性兴趣空间和偏好表示空间，使得个体偏好建模能够从群体隐性兴趣中获益。 * 联合优化：模型的总体损失函数由文本生成损失和上述对齐损失共同组成。在训练过程中，采用迭代批次优化策略，使得个体显性兴趣直接指导群体隐性兴趣的精炼，而精炼后的群体隐性兴趣又反过来间接增强个体建模。这个过程确保了从显性到隐性兴趣的语义推理保持一致性和渐进性。

4. 实验设计与评估 研究进行了广泛的实验来验证ISRF框架的有效性，并回答了六个研究问题。 * 基线模型：与四大类共14个主流基线模型进行比较，包括传统序列模型、基于注意力的模型、基于图神经网络的模型以及基于LLM的模型。 * 评估任务与指标：在序列推荐和直接推荐两个核心任务上进行评估。评估指标采用Top-K命中率和归一化折损累计增益。 * 实现细节：使用DeepSeek-R1-14B作为进行多步语义推理的骨干LLM，使用EasyRec作为语义嵌入提取模块。对于推荐模型本身，采用T5-small作为骨干LLM。实验在单个NVIDIA GeForce RTX 4090 GPU上完成。

四、 主要研究结果

实验结果表明，ISRF在三个数据集的两个推荐任务上均一致且显著地超越了所有基线模型。

1. 整体性能：在直接推荐任务上，ISRF相比最强的基线模型ELMRec，性能提升范围在7.52%到24.57%之间。在序列推荐任务上，性能提升范围在3.71%到10.37%之间。这证明了通过迭代语义推理来联合建模显性和隐性兴趣的有效性。研究还指出，ISRF在直接推荐任务上表现提升更为显著，这可能是因为直接推荐更依赖于对未见物品的理解，从而凸显了语义建模的重要性。
2. 消融研究结果：通过移除框架中的关键组件进行消融实验，验证了各模块的必要性。
   • 在序列推荐任务中，移除直接到序列的对齐损失或序列对齐损失均会导致性能下降，证明了迭代精炼机制中两种对齐方式对于协调不同粒度兴趣表示的重要性。
   • 在直接推荐任务中，移除物品语义增强或用随机初始化嵌入替代，以及移除可训练适配器，都会导致性能显著恶化。这分别证实了LLM多步推理生成物品语义的有效性，以及适配器在将语义空间对齐到推荐空间中的关键作用。
3. 语义变体分析：实验比较了仅使用正向语义、仅使用负向语义以及使用完整语义的模型变体。结果显示，完整模型始终优于所有变体，验证了整合正负多视角语义推理的重要性。同时，正向和负向语义变体表现相近，表明两者对建模用户兴趣具有可比且互补的贡献。
4. 超参数敏感性分析：研究了用户语义图中LightGCN层数和Top-K相似用户数K的影响。结果表明，性能随着层数或K值的增加先提升后趋于平稳或略有下降，说明适度的信息聚合有助于捕获隐性兴趣，但过度聚合可能导致过平滑或噪声积累。
5. 计算复杂度分析：ISRF的计算复杂度主要由Transformer和图神经网络主导。实证运行时分析显示，ISRF在消耗与ELMRec相近计算资源的同时，取得了更好的性能。
6. 案例分析：通过一个具体用户案例，直观展示了ISRF捕获群体隐性兴趣的能力。相比于基线模型ELMRec主要推荐与用户近期交互物品同属“配件”类别的商品，ISRF通过分析相似用户群体的行为，成功推断出该用户对“自行车灯”、“头灯”等类别的隐性兴趣，并做出了更相关、更多样的推荐。

五、 研究结论与价值

本研究提出并验证了一个新颖的迭代语义推理框架，用于基于大型语言模型的生成式推荐。该框架的核心贡献在于引入了“语义推理”的视角，通过三个协同模块，系统性地从物品属性推理显性个体兴趣，进而从相似用户群体推理隐性群体兴趣，并通过迭代优化使两者相互增强。

• 科学价值：
  • 理论贡献：将用户行为理论中的“显性-隐性”兴趣层次概念与LLMs的推理能力相结合，为理解用户兴趣提供了一个更精细、更符合认知过程的计算框架。
  • 方法创新：提出了多步双向链式思维推理、基于语义相似性的用户图构建、以及跨任务的迭代对比精炼等一系列新颖方法，推动了LLM在推荐系统中从“语义表示”向“语义推理”的演进。
• 应用价值：ISRF框架能够生成更准确、更全面的用户兴趣表示，从而直接提升推荐系统的性能，为用户提供更个性化、更深入的推荐结果。该框架具有通用性，可应用于各类需要深度理解用户偏好的电商、内容、服务等推荐场景。

六、 研究亮点

1. 新颖的研究视角：首次明确提出并实现了在推荐系统中进行从“个体显性兴趣”到“群体隐性兴趣”的迭代语义推理，超越了现有方法侧重于语义整合的局限。
2. 系统的框架设计：框架包含个体推理、群体推理和迭代精炼三个逻辑清晰、紧密耦合的模块，形成了一个完整且自洽的推理闭环。
3. 有效的技术方法：
   • 利用链式思维提示进行物品和用户的多步双向语义推理，充分挖掘了LLMs的深层理解与推理能力。
   • 构建基于语义相似度的用户关系图来捕获群体隐性兴趣，是一种数据驱动且可解释的群体兴趣发现方法。
   • 设计针对不同推荐任务的对比损失进行迭代精炼，巧妙地将两种兴趣表示进行对齐与融合。
4. 显著的性能提升：在多个公开数据集和两种推荐任务上，均取得了显著优于现有先进模型的性能，并通过详实的实验分析（消融、变体、超参、案例）全面验证了各组件的作用和框架的有效性。
5. 兼顾性能与效率：在实现性能大幅提升的同时，通过PCA降维、冻结语义特征、使用轻量级GCN等策略，保持了合理的计算开销，展示了良好的实用性。

七、 其他有价值内容

论文在附录中提供了详细的提示词构造示例、完整的算法流程描述以及数据集的详细统计信息，保证了研究的可复现性。此外，作者在讨论部分也指出了未来工作的方向，例如探索更丰富的推理策略来进一步增强LLMs在推荐中的推理能力，这为后续研究提供了思路。