本文提出了一种名为 GRACE（Generative Recommendation via Journey-aware Sparse Attention on Chain-of-Thought Tokenization）的新型生成式推荐框架，用于多行为序列推荐。该研究由来自 Walmart Global Tech 的 Luyi Ma、Wanjia Sherry Zhang、Kai Zhao、Abhishek Kulkarni 等多位研究者共同完成，论文发表于第十九届 ACM 推荐系统会议（RecSys ’25），会议于 2025 年 9 月 22 日至 26 日在捷克布拉格举行。

在学术背景方面，推荐系统正从传统序列模型向生成式架构演进，但现有方法仍存在若干瓶颈。基于物品 ID 的 Transformer 模型缺乏对物品语义信息的显式建模能力；TIGER 通过语义令牌化提升了上下文感知能力，但忽略行为上下文；MBGen 引入了行为—物品令牌化，却依赖静态令牌化和全注意力机制，导致计算开销大且语义令牌缺乏来自产品知识图谱（Product Knowledge Graph，PKG）的确定性属性信息。为此，本文围绕两个研究问题展开：RQ1，如何在语义令牌之上增强显式和确定性信息以提升模型性能；RQ2，如何改进全注意力机制以解决令牌化后序列长度线性增长带来的注意力矩阵二次增长问题，从而更高效地学习多行为模式和多尺度兴趣。

在方法设计上，GRACE 基于编码器—解码器架构，包含两大创新组件：混合式链式思维（Chain-of-Thought，CoT）令牌化和旅程感知稀疏注意力（Journey-aware Sparse Attention，JSA）。在令牌化阶段，行为被转换为唯一行为令牌；物品则通过两条路径进行令牌化。其一是语义令牌化，利用预训练编码器将物品元信息（标题、描述等）映射为嵌入，再通过残差量化变分自编码器（RQ-VAE）与 K 均值聚类相结合生成 T 级语义令牌。其二是链式思维令牌化，从产品知识图谱中提取 h 跳属性（如产品类型、价格带、品牌），按从粗粒度到细粒度的顺序组织成令牌，模仿用户在购物旅程中从大类到具体商品的推理过程。用户交互序列最终被表示为“用户令牌 + 行为令牌 + CoT 令牌 + 语义令牌”的混合序列，作为编码器和解码器的输入。

JSA 机制是该框架的另一核心。它将标准注意力分解为四种互补的稀疏注意力范围：多旅程压缩（multi-journey compression）通过多层感知机对滑动窗口内的键值块进行压缩，获得旅程级摘要；旅程内选择（intra-journey selection）基于压缩块的重要性分数选择 top-N 个块进行注意力计算，以捕捉同一购物旅程内不连续但相关的物品；旅程间转换（inter-journey transition）保留每件物品的粗粒度 CoT 令牌和语义令牌的首个元素，构建高层旅程转换序列；当前旅程理解（current-journey comprehension）使用截断窗口对最近 w 个位置进行局部注意力。四种注意力输出通过可训练的门控权重加权聚合。训练目标为因果语言建模的交叉熵损失。推理阶段采用束搜索依次预测行为令牌、CoT 令牌和语义令牌，最终根据联合概率对候选物品排序。

在实验部分，研究收集了来自 walmart.com 的真实用户行为数据，覆盖 Home 和 Electronics 两个品类，包含点击（click）、加购（add-to-cart）、喜欢（like）和移除购物车（remove）四类行为。数据处理中合并同一物品的多行为记录，仅保留优先级最高的行为（加购 > 喜欢 > 点击），以避免模型学习到“先点击后加购同一物品”的平凡解。两个数据集各包含 10,000 个用户序列。实验对比了 8 个基线模型，包括 GRU4Rec、SASRecm、BERT4Recm、RETR、TIGER 等序列推荐模型，以及 MB-STR、MBHT、SASRecb、BERT4Recb、MBGen 等多行为序列推荐模型，采用 Recall@K 和 NDCG@K 作为评估指标，K 取 5 和 10。

主要实验结果显示，GRACE 在两个数据集上均显著优于所有基线。在 Home 数据集上，GRACE 的 HR@10 达到 17.63，NDCG@10 达到 9.92，相较最强基线 MBGen 分别提升 106.92% 和 106.67%。在 Electronics 数据集上，GRACE 的 HR@10 为 33.97，NDCG@10 为 21.49，分别提升 22.06% 和 19.39%。Home 数据集上的提升幅度更大，原因在于其物品/用户比更高、目录多样性更强，CoT 令牌化和 JSA 在这些复杂场景中发挥的作用更加明显。消融实验表明，移除 CoT 令牌会使 NDCG 大幅下降；在无 CoT 条件下移除压缩和旅程内选择策略时，目标行为预测任务的 NDCG@10 从 9.92 降至 3.16，验证了压缩和选择在预测加购行为中的关键作用；移除旅程间转换策略则会显著损害行为特定预测和行为—物品联合预测任务。超参数分析显示，当前旅程窗口大小 w=10、旅程内 top-N=3、推理束宽 10 为最优组合。计算效率方面，在物品序列长度为 50、100、200 时，GRACE 注意力层激活参数量分别减少 32%、43% 和 48%。在多行为细粒度比较中，GRACE 在 AT、click 和 like 行为上相对 MBGen 取得显著提升，特别是在 Electronics 域的 like 行为中 NDCG@10 从 9.00 提升至 21.22。此外，CoT 令牌与语义一级令牌的共现热力图显示，产品类型信息能显著缩小候选物品的搜索空间，提高生成解码的定位精度。

GRACE 通过将链式思维令牌化与旅程感知稀疏注意力相结合，在提升多行为序列推荐精度的同时大幅降低了注意力计算开销。该研究的科学价值在于提出了一种将产品知识图谱中的确定性属性信息显式融入生成式推荐的方法，并通过多尺度稀疏注意力结构实现了对用户历史序列的高效建模。其应用价值体现在真实电商平台的多行为场景中，GRACE 能够更好地支持高意图行为（如加购）的预测，这对提升购物车转化率和营收具有直接商业意义。研究的亮点包括：首次在 MBSR 任务中引入基于 PKG 的 CoT 令牌化；设计了具备压缩、选择、转换和局部窗口四种策略的可训练稀疏注意力机制；在真实大规模数据集上验证了模型在准确性和效率上的双重优势。