本研究由来自东南大学（Southeast University）的Siyuan Huang、Jiahui Jin、Xin Lin、Xigang Sun和Yukun Ban共同完成，论文发表于第32届ACM国际多媒体会议（MM ‘25），会议于2025年10月27日至31日在爱尔兰都柏林举行。该研究聚焦于下一个兴趣点（Point-of-Interest，POI）推荐任务，提出了一种名为IM-POI的新型框架，旨在弥合基于标识符（ID）的表示与多模态表示之间的语义鸿沟，提高推荐系统的记忆能力与泛化能力。

在学术背景方面，下一个兴趣点推荐旨在根据用户的历史签到序列预测其未来可能访问的地点，这对于提升基于位置的社交网络（Location-Based Social Network，LBSN）服务体验具有重要价值。传统的推荐方法主要依赖POI的唯一标识符（ID）进行建模，这类方法虽然在捕捉序列转移模式方面具有优势，但面临严重的数据稀疏问题。近年来，多模态推荐方法通过引入POI的文本描述、图像等内容信息来缓解数据稀疏，但现有方法在处理ID特征与多模态特征之间的异质性方面仍显不足，且难以在统一框架中有效融合两种表示，导致多模态语义信息被行为序列模式稀释，或出现一种模态主导学习过程的特征竞争现象。针对这些问题，作者提出了IM-POI框架，目标是在一个统一架构中同时利用ID嵌入的记忆能力与多模态表示的泛化能力，并通过专门的表示对齐机制实现二者的协同。

该研究的整体工作流程可分为四个主要部分：基于ID的表示学习、多模态表示学习、跨模态对齐以及时间感知的序列预测。在基于ID的表示学习阶段，作者首先通过基于类别的独热编码初始化所有POI的ID嵌入，然后构建了一个受TF-IDF启发的全局POI加权转移图。传统转移图仅以转移频率作为边权重，容易导致热门POI主导图结构，而TF-IDF加权方案通过词频（Term Frequency，TF）对全局最大频率进行归一化，并利用逆文档频率（Inverse Document Frequency，IDF）衡量目标POI的稀有程度，从而抑制被过度强化的热门转移，突出具有区分性的序列模式。具体而言，边权重的计算公式为TF与IDF的乘积再乘以一个可训练参数，其中TF表示源POI到目标POI的转移次数与源POI所有出边转移次数之和的比值，IDF则为POI总数与指向该目标POI的不同源POI数量加一之比的对数。为了增强模型稳定性，作者对转移图的邻接矩阵进行了对称归一化处理，随后采用图神经网络（Graph Neural Network，GNN）进行多层图卷积，以学习低维POI表示。在多层图卷积中，每一层通过带泄漏的ReLU激活函数和可学习权重矩阵更新节点特征，并在最后一层前应用dropout以防止过拟合。

在多模态表示学习阶段，作者使用预训练的多模态大语言模型CLIP对POI的视觉和文本信息进行统一编码，生成多模态嵌入。由于图像和文本模态的收敛速度与ID特征差异显著，直接联合训练会带来计算开销大和表示不充分的问题，因此作者采用预训练模型来获得稳定的多模态表示。在此基础上，考虑到空间邻近性和语义相似性对用户签到行为的共同影响，作者构建了一个多模态地理图。该图的节点仍为所有POI，边仅连接地理距离小于预设阈值的POI对，距离计算采用Haversine公式。边权重则由POI多模态嵌入之间的余弦相似度计算得到。通过对该图进行归一化和图卷积操作，最终得到融合了地理信息的多模态POI表示。这一设计使多模态偏好更符合真实世界中的访问模式。

在跨模态对齐阶段，作者提出了IM-Aligner模块，采用Wasserstein距离而非传统的对比学习方法来对齐ID表示和多模态表示。其动机在于ID嵌入编码的是POI之间的转移关系模式，而多模态表示捕捉的是单个POI的语义内容，二者在结构上存在根本差异。传统对比学习假设模态间存在语义相似性并寻找共同锚点，但这种逐点对齐方式可能强制不适当的语义接近，损害对齐质量。Wasserstein距离则通过学习分布之间的结构对应关系来桥接转移信息与内容信息，同时保持几何结构。具体实现中，作者将Wasserstein距离分解为均值差异和协方差差异两部分，并基于此定义了Wasserstein对齐损失。此外，为了平衡对齐与多样性，防止表示坍缩，作者还引入了一个基于余弦距离的正则化损失项，鼓励同一POI的ID表示与多模态表示保持适度差异。最终的整体对齐损失为这两个损失项的加权和，超参数α和β分别控制分布对齐与表示多样性的相对重要性。对齐完成后，作者采用逐元素加法作为融合模块，将ID表示和多模态表示结合为通用表示。

在时间感知的序列预测阶段，作者首先为用户和签到时间分别训练嵌入层，其中时间嵌入采用Time2Vec方法将一天24小时划分为24个一小时区间并转化为稠密向量。每个签到的表示由POI的融合表示、用户嵌入和时间嵌入拼接而成。为了建模用户移动模式中的周期性，作者在标准Transformer的基础上引入了带有循环约束的时间感知多头注意力机制。对于任意两个时间戳，其时间差被投影到正弦和余弦函数构成的周期嵌入空间中，周期超参数可以控制周期性的粒度。在多头注意力中，每个注意力头在计算注意力分数时会额外加入一个可学习的时间差嵌入项，从而使模型能够感知签到之间的时间间隔和周期行为。

在训练阶段，作者采用多任务学习框架，联合优化三个损失函数：用于POI预测的标准交叉熵损失、POI类别预测损失以及基于最优传输的对齐损失。整体损失函数为这三个损失项的加权和，权重λ为可学习参数，使模型能够自适应地平衡不同学习目标。

在实验部分，作者在三个公开数据集上进行了评估，分别为Foursquare-NYC、Foursquare-TKY和Yelp-New_Orleans。所有数据集均经过10-core过滤，即移除签到次数少于10的用户和POI，并为每个POI收集了图像、评论和元数据三类多模态信息。用户签到序列按24小时周期划分，数据集按8:1:1的比例划分为训练集、验证集和测试集。实验采用Recall@5、Recall@10和NDCG@10作为评价指标，与三类基线方法进行了比较：序列推荐方法（FPMC、SASRec）、多模态推荐方法（MICRO、MMSSL、BM3）以及下一个POI推荐方法（DeepMove、LSTPM、GETNext、MMPOI）。实验结果显示，IM-POI在所有三个数据集上均取得了最佳性能，在NYC、TKY和New_Orleans数据集上，相较于最优基线方法，NDCG@10分别提升了7%、7%和13%。这一结果验证了该框架在融合ID与多模态表示方面的有效性。

在消融研究中，作者比较了六个变体：去除多模态信息、去除ID信息、去除TF-IDF模块、去除IM-Aligner、去除时间感知机制以及去除多任务学习。结果表明，去除多模态信息导致性能急剧下降，去除ID信息同样造成明显性能损失，而去除TF-IDF模块则降低了模型处理长尾POI噪声的能力。此外，去除IM-Aligner会导致显著的性能下降，证明了分布对齐在桥接ID与多模态表示方面的重要性。在超参数敏感性分析中，作者发现当α在0.5到0.75之间、β在0.2到0.4之间时，模型性能较为稳定，最优配置为α=0.75、β=0.2。在表示可视化实验中，作者使用t-SNE对潜在嵌入进行降维，结果显示，在未对齐时，ID嵌入与多模态嵌入呈现不重叠的簇分布，而应用IM-Aligner后，二者分布显著重叠，表明对齐策略有效地统一了异构特征空间。

在温冷启动分析中，作者将测试集中的POI按历史签到次数分为热门POI和冷门POI。结果表明，IM-POI在两类POI上均优于GETNext和MMPOI基线。尤其在冷门POI场景下，由于交互历史不足，GETNext的性能显著下降，而IM-POI通过利用与交互频率无关的多模态内容特征保持了较强的推荐能力。模型效率分析显示，IM-POI的训练时间略高于SASRec，但参数数量少于MMPOI，且推理时间更快，表明其在效果与效率之间取得了较好的平衡。

本研究的核心结论是，在统一架构中显式对齐ID表示与多模态表示是一种有效的策略，能够同时利用ID嵌入的记忆能力与多模态表示的泛化能力，显著提升下一个POI推荐的准确性。研究的科学价值在于提出了一种新的跨模态对齐思路，即通过Wasserstein距离实现分布级对齐而非逐点对比，从而保持异质表示空间的几何结构；应用价值在于为基于位置的社交网络服务提供了更鲁棒的推荐解决方案，尤其在数据稀疏场景下具有明显优势。该研究的亮点包括：提出IM-POI双流学习架构以实现ID与多模态特征的独立建模；构建TF-IDF加权转移图和地理图分别增强序列模式建模和空间语义融合；设计IM-Aligner模块以防止表示坍缩并实现结构级对齐；以及通过时间感知Transformer捕捉用户移动的周期性和时间依赖性。