对话推荐系统（Conversational Recommender Systems, CRS）是自然语言处理与推荐技术交叉融合的新兴研究方向，其核心目标是通过多轮对话精准捕捉用户偏好，从而提供个性化推荐服务。早期的对话推荐系统主要聚焦于从对话上下文中分析和建模用户偏好，但由于对话上下文天然具有短文本和稀疏性的特点，单纯依赖对话内容提取用户偏好面临巨大挑战，导致推荐结果往往局限于热门或常规选项，难以捕捉用户细粒度的需求。
为克服这一局限，部分研究尝试引入外部知识来增强用户表示，包括结构化知识图谱、超图、非结构化项目评论、元数据以及相似对话中出现的实体等。尽管这些方法在对话推荐系统领域取得了显著进展，但它们主要聚焦于单一的文本模态，未能充分利用项目丰富的多模态语义信息。在实际场景中，用户对某一电影的偏好可能源于其震撼的视觉特效、扣人心弦的故事情节等多个维度，这些多模态体验难以通过纯文本形式完整表达。
针对上述问题，本文作者提出了一种创新的多模态语义图提示学习框架MSCRS（Multi-modal Semantic Graph Prompt Learning Framework for Conversational Recommender Systems）。该研究由电子科技大学的魏义彪、邹杰、王国庆、徐行、杨阳以及西南财经大学的郭伟康共同完成，发表于SIGIR ‘25（第48届国际ACM信息检索研究与发展会议），论文发表于2025年7月13日至18日在意大利帕多瓦举行的会议上。
MSCRS框架的构建包含四个主要组成部分：多模态特征编码、多模态语义图建模、面向推荐任务的多模态语义图提示学习以及面向对话任务的多模态语义图提示学习。
研究者首先处理三类数据：对话历史、项目文本描述和项目图像特征。对于对话历史，研究者将对话中出现的项目（如电影）和相关实体（如演员）映射到DBpedia知识图谱中，以捕捉实体间复杂的语义关联，并采用R-GCN（关系图卷积网络）对知识图谱进行编码。
对于项目文本描述的提取，研究者利用GPT-4o大型语言模型，通过精心设计的提示模板（prompt template）为每个项目生成涵盖主题、情感、文化意义和情节概述四个维度的文本描述，每个维度限制在30个词元（token）以内。随后采用预训练模型RoBERTa对生成的文本描述进行编码，并通过平均池化操作获得每个项目的文本特征表示。
对于图像特征提取，研究者通过网络爬虫从IMDb获取每个项目的多张静态图像，利用预训练模型ViT（Vision Transformer）提取图像表示，并对多张图像的嵌入向量取平均，得到每个项目的图像特征表示。
在获得三类特征后，研究者构建了三种模态特定的语义图结构。
协同语义图的构建基于实体在对话中的共现频率。研究者从对话上下文中提取所有实体（包括项目及项目相关实体），统计任意两个实体在所有对话中被共同提及的次数，构建共现矩阵。当共现次数超过预设阈值时，在两个实体之间建立边连接。协同语义图采用LightGCN进行编码，通过多层图卷积操作聚合邻域信息，最终通过平均池化生成实体的增强表示。
文本语义图和图像语义图的构建基于模态内特征相似度。研究者利用余弦相似度计算项目之间的语义相关性，对稠密的相似度矩阵进行kNN稀疏化处理，仅保留每个项目相似度最高的前k条边。这样既能降低计算成本，又能避免引入无关的噪声边。两个模态特定的语义图同样采用LightGCN编码，并通过平均池化获得多层表示的融合结果。
在融合策略上，研究者采用加权函数融合文本语义图和图像语义图，超参数λ控制融合比例。随后将融合后的多模态嵌入与协同语义图和知识图谱的融合表示进行结合，生成最终的实体嵌入表。
对于推荐任务，研究者首先从融合后的嵌入表中查询当前对话涉及的所有实体的嵌入表示，同时利用RoBERTa提取对话上下文的词元嵌入。通过双线性映射将实体嵌入映射到与词元嵌入相同的维度空间，并采用对比学习损失函数促进实体表示与对话表示的对齐。最终融合后的实体表示与任务特定的软提示（soft prompt）嵌入和对话上下文拼接，输入到DialoGPT中进行编码，通过池化层获得用户偏好嵌入。
在预训练阶段，研究者利用用户偏好嵌入预测当前对话中出现的实体，通过交叉熵损失和融合损失的组合优化模型参数。在推荐阶段，模型通过用户偏好嵌入与项目嵌入的点积计算所有项目的推荐概率，并使用交叉熵损失进行训练。
对话任务的核心创新在于相关性语义映射（correlation semantic mapping）的设计。对于每个对话上下文，研究者通过四类语义图（知识图谱、协同语义图、文本语义图、图像语义图）的一阶邻接关系，扩展当前对话涉及的实体集合。基于不同对话上下文之间共享实体的数量，构建对话上下文之间的相关性语义映射图。通过MLP模拟一层LightGCN的邻域聚合过程，生成增强的对话上下文表示。最终将增强的上下文嵌入与任务特定的软提示嵌入和原始对话上下文拼接，输入DialoGPT生成回复。
研究者在两个广泛使用的对话推荐数据集ReDial和INSPIRED上进行了实验验证。ReDial数据集包含10,006个对话、182,150条语句和6,924个项目；INSPIRED数据集包含1,001个对话、35,811条语句和1,123个项目。
在推荐任务上，MSCRS在ReDial和INSPIRED数据集的所有评估指标上均取得最优性能。在ReDial数据集上，MSCRS的Recall@1达到0.081，相比最强基线DCRS提升6.5%；Recall@10达到0.264，提升4.3%；Recall@50达到0.451，提升2.7%。在INSPIRED数据集上，MSCRS的Recall@1为0.096，提升3.2%；Recall@10达到0.257，提升13.7%；Recall@50为0.425，提升2.6%。NDCG@10、NDCG@50、MRR@10和MRR@50等指标同样全面优于所有基线方法。
消融实验验证了三种语义图各自的重要性。移除协同语义图、文本语义图或图像语义图均会导致Recall@10下降，而同时移除所有三种图结构时性能下降最为显著，证明了多模态语义图融合的必要性。
在对话生成任务上，MSCRS在BLEU、ROUGE和Distinct等自动评估指标上均取得最佳成绩。在ReDial数据集上，BLEU-2达到0.054，BLEU-3达到0.027，ROUGE-L为0.294，Distinct-4为1.553。在INSPIRED数据集上，BLEU-2为0.040，Distinct-4达到6.556，显著优于对比方法。
人工评估结果同样验证了MSCRS的优越性。在流畅性（Fluency）和信息量（Informativeness）两项指标上，MSCRS分别获得1.79和1.67的评分，均高于所有基线模型，表明模型能够生成更自然流畅且信息丰富的回复。
研究者还探讨了kNN稀疏化中k值的选择以及文本与图像模态融合比例λ对性能的影响。实验结果表明，ReDial数据集在k=20时达到最佳性能，而INSPIRED数据集在k=10时表现最优。对于融合比例λ，两个数据集均在λ=0.5附近达到性能峰值，说明文本和图像模态的均衡融合能够最大化模型性能。
本研究提出的MSCRS框架通过整合文本、图像和协同三种模态的语义信息，构建模态特定的语义图结构，并结合提示学习技术，成功地将图神经网络的拓扑结构信息注入大型语言模型中，实现了对用户偏好的全面建模和高质量回复的生成。实验结果表明，MSCRS在项目推荐准确性和回复生成质量两方面均显著优于现有最先进的方法。
该研究的科学价值体现在三个方面：首先，这是首个将协同信息和多模态项目特征同时引入基于生成的对话推荐系统的研究工作，为对话推荐系统的多模态建模开辟了新方向。其次，MSCRS通过构建模态内语义图并采用共享嵌入的方式，巧妙地避免了跨模态语义对齐的难题，为多模态信息融合提供了一种新思路。第三，研究者将图神经网络的邻域聚合能力与大型语言模型的语义理解能力相结合，通过提示学习的方式实现了两种范式的高效协同。
在应用价值方面，MSCRS能够更准确地理解用户的多维度偏好，提供更精准的个性化推荐，同时生成更具表达力和信息量的对话回复，对于提升对话推荐系统在实际场景中的用户体验具有重要意义。研究者还补充了两个广泛使用的对话推荐数据集的多模态特征，为后续多模态对话推荐研究提供了宝贵的数据资源。
本研究的主要亮点包括：创新性地将多模态语义信息引入基于生成的对话推荐系统；提出了基于模态内关系构建语义图并通过共享嵌入避免跨模态语义鸿沟的方法；设计了将多模态语义图与提示学习相结合的新颖框架，使大型语言模型能够利用图结构中的高阶语义关联；通过在两个基准数据集上的大量实验验证了方法的有效性。此外，研究者开源的代码和扩展数据集将有力推动该领域的后续研究。