基于可学习长程图变换器的交通流预测模型LLGformer研究

作者与发表信息

本研究由Di Jin、Cuiying Huo*、Jiayi Shi、Dongxiao He*、Jianguo Wei（均来自中国天津大学智能与计算学院）以及Philip S. Yu（美国伊利诺伊大学芝加哥分校计算机科学系）共同完成，并于2025年4月28日至5月2日在澳大利亚悉尼举行的ACM Web Conference 2025（WWW ‘25）上发表，论文标题为《LLGformer: Learnable Long-Range Graph Transformer for Traffic Flow Prediction》。

学术背景

本研究属于智能交通系统（Intelligent Transportation Systems, ITS）领域，聚焦交通流预测这一核心问题。随着城市人口增长和交通需求持续上升，准确的交通流预测对交通流量控制、路线规划和拥堵缓解等应用至关重要。现有研究存在三个主要局限：(1)大多仅基于短期（如一小时）交通数据进行预测，忽略了交通数据中存在的周期性影响；(2)依赖人工构建的时空图进行联合建模，或使用纯空间和纯时间模块分别建模时空特征；(3)传统Transformer架构的自回归解码器存在误差累积问题，且自注意力机制可能导致关键时间信息丢失。针对这些问题，研究团队提出了一种新型可学习长程时空图构建方法及LLGformer模型，旨在更有效地捕捉交通数据中的复杂时空模式。

研究方法与流程

1. 全局时空图构建

研究首先创新性地提出了一个三阶段图构建流程：

时间相似性图构建：为每个传感器节点创建包含当前和历史数据的时间特征向量，使用动态时间规整(Dynamic Time Warping, DTW)算法计算节点间相似度，选择k个最相似节点作为邻居构建时间相关图A_T。例如，在预测周五10:05-11:00的交通流量时，会整合过去7天同一时段的”历史数据”（黄色显示）和当前日前一小时的”当前数据”（绿色显示）。

时空相关性图构建：采用随机游走策略整合道路网络图的空间信息和时间相似性图的时序信息。游走过程中，若节点v0与v(j+1)在AT中存在边，则增加访问v(j+1)的概率（公式3）。通过这种策略获得时空混合嵌入E_ST，计算节点嵌入间的余弦相似度，选择K个最相似节点构建学习型时空相关图A_ST。

全局时空图构建：构建包含T×T个子矩阵（每个大小N×N）的全局时空图A_G（公式4）。对角线子矩阵为道路网络邻接矩阵A，非对角线子矩阵为学习到的时空相关图A_ST，实现不同时间片间节点特征的直接交互。

2. 数据嵌入层

研究设计了三种嵌入方式的融合：

时空混合嵌入：通过门控模块（公式5）平衡历史信息x_h和当前信息x_c的贡献，使用tanh和sigmoid函数控制信息流动。

时间嵌入：采用固定位置编码方法（公式6），将每个序列元素与正弦/余弦曲线上的点关联，生成位置嵌入E_time。

空间嵌入：基于道路网络图提取拓扑信息，通过图拉普拉斯矩阵特征分解（公式7）获得空间嵌入E_space。

最终输入表示为三种嵌入的和（公式8），维度为B×N×T×D（B为批次大小）。

3. 编码器-解码器架构

编码器：包含l层相同结构，每层采用多头注意力机制（公式9-12）。创新性地在每层后加入蒸馏操作（公式13），通过一维卷积和最大池化将序列长度减半，突出主导注意力特征。

解码器：摒弃传统Transformer的自回归解码器，改用简单线性层（公式14）直接映射编码器学到的特征到预测序列，显著降低计算复杂度。

4. 优化策略

稀疏掩码矩阵策略：通过控制时空相关图的稀疏度（k’近邻），创建掩码矩阵W_mask作用于注意力矩阵（公式15），将计算复杂度从O(N^2×T^2)降至O(E×T^2)。

Memsizer优化策略：改造注意力计算方式（公式16-17），使K矩阵成为跨实例共享的小型可训练矩阵，将复杂度进一步降至O(NTk)，实现线性计算复杂度。

5. 实验设计

研究在四个真实数据集（METR-LA、PEMS-Bay、PEMS04、PEMS08）上评估模型性能，采用70%/10%/20%的数据划分，使用MAE、MAPE和RMSE三项指标，与ARIMA、GraphWaveNet、Trafformer等7种基线模型对比。通过消融实验分析各模块贡献，并考察历史数据天数（0-14天）和k近邻数（5-20）对性能的影响。

主要研究结果

1. 预测性能

实验结果表明，LLGformer在所有数据集上均显著优于基线模型。以METR-LA数据集60分钟预测为例： - LLGformer的MAPE（9.38%）比ARIMA（17.40%）、GraphWaveNet（10.01%）和Trafformer（9.96%）分别提升8.02%、0.63%和0.58% - 在PEMS04数据集上，LLGformer的MAE（19.12）优于次优模型Trafformer（19.26） - 长程预测优势更明显，说明全局时空图和历史信息整合的有效性

2. 消融研究

关键发现包括： - 移除A_ST（-AG）导致性能显著下降（METR-LA上MAE增加0.49） - 仅使用邻接矩阵（+A）无法捕捉时序模式 - 移除混合嵌入（-E_hybrid）损害时空依赖学习 - 保留自回归解码器（+Encoder）导致过拟合

3. 参数分析

• 历史数据天数：7天时表现最佳（平衡周期模式捕捉与噪声控制）
• k近邻数：k=12时达到最优（过多邻居引入无关信息）

4. 计算效率

优化策略带来显著提升： - LLGformer-m在PEMS08上的推理时间（2.58s）仅为GraphWaveNet（12.89s）的20% - 稀疏策略使训练时间减少约33%（METR-LA上从877.43s降至586.97s）

研究结论与价值

本研究提出了一种创新的交通流预测框架LLGformer，其科学价值主要体现在： 1. 方法论创新：首次提出可学习长程时空图构建方法，实现任意时间片和位置间的直接信息交互 2. 架构革新：设计混合嵌入机制和简化解码器，有效解决传统Transformer在长序列预测中的误差累积问题 3. 效率突破：两种优化策略将计算复杂度从二次降为线性，使全局时空图建模变得可行

实际应用价值包括： - 为城市交通管理提供更准确的预测工具（如拥堵提前预警） - 模型框架可扩展至其他时空预测任务（如人群流量、气象预测） - 开源实现促进智能交通系统研究社区发展

研究亮点

1. 全局时空图构建：突破现有方法仅建模局部依赖的限制，首次实现全局长程时空关联的直接学习
2. 历史信息整合：系统性地验证了周期模式对预测的重要性，确立7天历史数据的最佳实践
3. 高效架构设计：通过蒸馏机制和线性解码器的创新组合，在保持精度的同时大幅提升效率
4. 理论贡献：提出的Memsizer策略为注意力机制的高效计算提供了新思路

其他有价值内容

研究还揭示了两个重要发现： 1. 地理距离较远但城市功能相似区域会呈现相似交通模式（如图1c中A与B的交通状况） 2. 传统方法忽略的”跨日相同时段”数据（如图1d）实际上包含关键预测信息

这些发现为后续研究提供了新的方向，如结合城市功能区划数据进一步提升预测精度。研究团队已公开代码和预处理数据，有助于结果复现和方法改进。