分享自:

基于语义ID的生成式下一兴趣点推荐

期刊:Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data MiningDOI:10.1145/3711896.3736981

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


作者及机构
本研究由Dongsheng Wang、Yuxi Huang、Shen Gao(通讯作者)、Yifan Wang、Chengrui Huang和Shuo Shang(通讯作者)共同完成,所有作者均来自中国电子科技大学(University of Electronic Science and Technology of China, UESTC)。研究论文《Generative Next POI Recommendation with Semantic ID》发表于2025年的ACM SIGKDD国际会议(KDD ‘25),会议于2025年8月3日至7日在加拿大多伦多举行。论文的预印本已发布于arXiv平台(arXiv:2506.01375v2)。


学术背景
研究领域为基于位置的社交网络(Location-Based Social Networks, LBSN)中的下一个兴趣点推荐(Next Point-of-Interest Recommendation, Next POI)。随着Foursquare、Google Maps等LBSN平台的普及,用户通过移动设备频繁分享签到记录,如何基于用户历史行为预测其下一个可能访问的兴趣点(POI)成为研究热点。传统方法依赖随机数字ID(Random ID, RID)表示POI,但RID无法捕捉POI之间的语义关联,导致模型泛化能力受限。近年来,基于大语言模型(Large Language Models, LLMs)的生成式推荐系统展现出潜力,但现有方法仍受限于RID的语义缺失问题。

本研究提出了一种名为GNPR-SID(Generative Next POI Recommendation with Semantic ID)的新框架,旨在通过语义ID(Semantic ID, SID)增强LLM对POI语义的理解。研究目标包括:
1. 设计一种能够反映POI语义关系的SID表示方法;
2. 构建基于LLM的生成式推荐模块,直接预测下一个POI的SID;
3. 提升模型在未见POI上的泛化能力。


研究流程与方法
研究分为两大模块:语义ID构建模块生成式POI推荐模块

1. 语义ID构建模块

(1)POI语义表征

通过四类特征构建POI的语义向量((p_e)):
- 类别特征(Category):如餐饮、交通等;
- 空间特征(Spatial):使用Google Plus Codes将经纬度转换为区域编码,确保邻近POI共享相同前缀;
- 时间特征(Temporal):将一天划分为24个时段,提取POI的高频访问时段;
- 协同信号(Collaborative):分析POI的频繁访问用户及其共现模式。

(2)POI量化与SID生成

采用残差量化变分自编码器(Residual Quantized Variational Autoencoder, RQ-VAE)将POI映射到离散语义空间:
- 分层码本(Hierarchical Codebook):包含(L)层,每层含(K)个码词向量,通过残差量化逐步细化表征。
- 语义ID构造:SID由多层码词索引组成(如<a_15><b_2><c_9>),相似POI共享前缀。
- 损失函数
- 重建损失((\mathcal{L}_{recon})):最小化输入与重构向量的误差;
- 量化损失((\mathcal{L}_{quant})):约束残差与码词的距离;
- 多样性损失((\mathcal{L}_{div})):避免码词空间塌缩,确保SID唯一性。

2. 生成式POI推荐模块

(1)输入构造

将用户历史签到序列转换为SID序列,并融合访问时间戳,构造如下提示模板:
Instruction: 基于用户历史记录预测其在指定时间可能访问的POI。 Input: 用户<uid>在[时间]访问了<SID>, ..., 在[时间]访问了<SID>。当[时间]时,用户<uid>可能访问:

(2)LLM微调

以Llama3-8B为基础模型,采用LoRA(Low-Rank Adaptation)技术进行微调,直接生成下一个POI的SID。


主要结果
1. 性能对比:在Foursquare-NYC、Foursquare-TKY和Gowalla-CA三个数据集上,GNPR-SID的Top-1准确率(Acc@1)较最优基线(LLM4POI)分别提升7%、1%和16%。
2. 消融实验
- 移除SID(使用RID)导致性能下降7.24%(NYC);
- 移除时间特征导致性能下降19.18%(NYC);
- 多样性损失((\mathcal{L}_{div}))对避免SID冲突至关重要。
3. 语义分析
- 相同前缀的SID对应相似POI类别(如<a_15>前缀多为交通类);
- T-SNE可视化显示SID能有效聚类语义相近的POI。


结论与价值
1. 科学价值
- 首次将语义ID引入生成式POI推荐,解决了RID的语义缺失问题;
- 提出的RQ-VAE量化方法为离散语义表征提供了新思路。
2. 应用价值
- 提升推荐准确性,尤其在冷启动场景(未见POI)中泛化能力显著;
- 减少LLM输入token数量,提升推理效率(训练时间降低58.48%)。


研究亮点
1. 创新性方法
- 分层码本结构实现POI语义的粗粒度到细粒度表征;
- 多样性损失确保SID分布均匀性。
2. 跨领域融合
- 结合量化编码与LLM的生成能力,推动推荐系统与自然语言处理的交叉创新。


其他有价值内容
- 开源代码:https://github.com/wds1996/gnpr-sid
- 数据增强策略:通过填充空白任务(Fill-in-the-Blank)提升模型对历史序列的建模能力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com