研究背景与目标

这篇研究论文由Malika Acharya和Krishna Kumar Mohbey撰写，他们来自印度拉贾斯坦邦中央大学计算机科学系。该研究发表于《Engineering Applications of Artificial Intelligence》期刊第139卷，文章编号109630，于2024年11月13日在线发布。研究聚焦于推荐系统领域中的一个关键挑战：跨城市兴趣点（Point-of-Interest，POI）推荐，特别是针对冷启动用户的推荐问题。

跨域POI推荐相较于单域推荐面临更为严峻的挑战。当用户前往陌生城市时，他们在目标城市的签到记录极为稀少，这加剧了冷启动问题。传统推荐系统高度依赖用户的历史交互数据，而跨域场景下，用户在源城市可能拥有大量历史数据，但在目标城市却几乎没有数据。该研究旨在解决用户偏好迁移（User Preference Transfer）、目标城市数据稀疏性、用户偏好漂移（Preference Drift）、POI分布偏差以及冷启动问题。研究提出了一种新颖的方法，称为自集成上下文汤普森采样（Self-Ensembled Contextual Thompson Sampling，SECTS），该方法结合了迁移学习与强化学习的优势。

研究方法与工作流程

研究提出的SECTS方法包含四个主要步骤。第一步是基于目标用户的长期偏好以及源域中具有相似轨迹的用户来挖掘POI。具体而言，研究从两个角度提取用户偏好：目标用户自身的历史签到记录，以及那些居住在相同源城市且曾访问过相同目标城市的其他用户的签到记录。偏好迁移基于两个标准：类别流行度和单个POI流行度。类别覆盖度通过公式(d_l^c = \frac{f(l_i, c)}{f©})计算，其中(f(l_i, c))表示POI (l_i)在类别c下的签到总数，(f©)表示类别c的总签到数。POI流行度则通过缩放函数(\rho_i^s = \frac{f(li)}{\max(f\tau(l_n))})计算。

第二步使用多层感知机（Multi-Layer Perceptron，MLP）计算源域中POI的奖励。MLP接收源域用户偏好向量(v^{s,\tau})和上下文信息(\tau^s)作为输入，返回源域用户-上下文对的估计奖励(l_\tau)。训练完成后，MLP被应用于目标域，基于目标域特定信息向量(i2 = [v^{s,\tau \to t,\tau}, v^{t,\tau}])来估计目标域中每个动作臂（arm）的奖励(l{\tau,a}^{target})。研究使用了具有2层（32和16个核）的MLP，采用ReLU激活函数，学习率为0.001，使用Adam优化器。

第三步是估计目标域中未标记POI的奖励。第四步是形成奖励集成（Ensemble of Rewards），用于决定最终的动作臂拉取。奖励集成通过自集成域适应（Self-Ensembling Domain Adaptation，SEDA）技术将源域和目标域的奖励组合，公式为(x{ens}(\tau, a) = (1-\delta) \cdot l\tau + \delta \cdot l_{\tau,a}^{target})，其中(\delta)是集成权重因子，范围在0到1之间。当(\delta = 0)时，推荐完全依赖源域偏好；当(\delta = 1)时，完全依赖目标域偏好。

SECTS的探索与利用权衡通过切换概率(p_s(\tau, a))决定，该概率的计算公式为(ps(\tau, a) = \frac{\exp(\phi \cdot \psi(\tau, i))}{\sum{i=1}^m \exp(\phi \cdot \psi(\tau, i))} + \gamma \cdot c_{a,p})，其中(\psi(\tau, i))是多样性度量（Diversity Measure），(\phi)控制探索程度，(\gamma)控制类别贡献。多样性度量通过类别多样性估计来计算，即目标域中独特类别数与总类别数的比率。较高的多样性度量意味着更多的探索，有助于模型适应目标域。

实验与数据

研究使用了两个公开的真实世界数据集：Gowalla和Foursquare。Gowalla数据集包含2009年2月至2010年10月的记录，Foursquare数据集包含2012年4月至2013年9月的数据。研究将两个数据集合并，提取美国和日本的记录，并按城市划分。选择了加利福尼亚州（California，CA）作为美国的源域，华盛顿州（Washington，WA）和俄亥俄州（Ohio，OH）作为目标域；东京（Tokyo，TY）作为日本的源域，会津（Aizu，AI）、京都（Kyoto，KY）和兵库（Hyogo，HY）作为目标域。

研究对比了多种基线方法，包括Axolotl、MeLU、NMF、GMF、Node2Vec、NGCF、LR-GCCF、Neural Thompson Sampling（NTS）、Upper Confidence Bound（UCB）和GA-DTCDR。评估指标包括Precision@k、NDCG@k和Novelty。数据以80%训练集和20%测试集划分，其中10%的训练数据用于验证。

主要结果

实验结果显示，SECTS在所有评估指标上均优于基线方法。在CA-WA的Precision@1上，SECTS达到了0.7122，而最佳基线Axolotl为0.5537，提升了28.62%；NTS为0.5742，提升了24.03%。在NDCG@5上，SECTS在CA-WA上达到0.7632，而Axolotl为0.6503，提升了17.36%；在CA-OH上，SECTS的NDCG@5为0.6814，Axolotl为0.6110，提升了11.52%。与NTS相比，SECTS在NDCG@5上提升了34.87%至62.21%，在NDCG@10上提升了31.12%至47.04%。

集成权重(\delta)的分析表明，对于空间距离较近的域（如CA-WA），(\delta = 0.4)时准确率最高；随着(\delta)从0.4增加到1.0，准确率下降。对于跨国家的域（如TY到美国城市），较低的(\delta)会降低准确率，因为源域占主导地位；而较高的(\delta)会增加准确率，因为推荐更多地依赖目标域。多样性度量(\psi)在1到10之间变化时，准确率先上升后下降，(\psi = 5)时对CA域达到最优。

新颖性（Novelty）分析显示，同国家域之间的推荐新颖性较低（CA-WA为0.375，CA-OH为0.221），而跨国家域之间的新颖性较高（CA-KY为0.7412，TY-OH为0.778）。对于冷启动用户（签到记录少于10次的用户），SECTS在CA-WA的Acc@5和Acc@10分别为0.58和0.628，在TY-KY上分别为0.6914和0.7328。与基线方法相比，SECTS在冷启动用户上的准确率显著更高，例如在CA-WA上Acc@10为0.628，而最佳基线UCB为0.641。

结论与意义

SECTS方法成功地将自集成域适应与上下文汤普森采样结合，解决了跨域POI推荐中的用户偏好迁移和偏好漂移问题。方法利用MLP在源域训练，通过SEDA估计目标域POI的伪奖励，并通过多样性度量和切换机制实现探索-利用权衡。SECTS不仅在跨域推荐中表现优异，在单域推荐中也展现出优越性能，在加利福尼亚的NDCG@5上相对NTS提升了约90.6%，在东京提升了约76.5%。

该研究的科学价值在于提出了一种新颖的强化学习与迁移学习结合框架，能够有效利用源域知识来缓解目标域的数据稀疏性和冷启动问题。应用价值方面，该方法可为跨城市旅行者提供个性化的POI推荐，改善用户体验。研究还表明，通过调整集成权重和多样性度量，SECTS能够适应不同空间距离和域差异的场景。

研究亮点

该研究的首要亮点是提出了一种新的SECTS框架，将自集成域适应技术融入上下文汤普森采样中，实现了对探索-利用权衡的精细控制。其次，方法通过多样性度量和切换概率机制，能够动态调整探索与利用的平衡，有效解决了传统强化学习方法在冷启动场景下过度依赖源域数据的问题。第三，研究在两个真实世界数据集上进行了全面验证，并考虑了跨国家和同国家不同域之间的差异，证明了方法的普适性。此外，SECTS在冷启动用户上的准确率达到了约65%，显著优于现有方法。

其他有价值内容

研究还进行了时间复杂度分析，SECTS的时间复杂度为(O(n \cdot m))，其中n为迭代次数，m为动作臂数量。SECTS的时间消耗高于NTS和UCB，但考虑到其性能提升，这一代价是可接受的。参数敏感性分析显示，SECTS对不同激活函数（ReLU、Sigmoid、ELU、Tanh、SELU）的敏感性不同，ReLU表现最佳。研究还探讨了MLP层数对准确率的影响，使用5层MLP获得了最佳性能。未来工作方向包括引入反馈机制、实时事件信息（如POI排队时间）、多模态属性（如评论和图像），以及探索分布式计算和并行处理来提高推荐准确率。