本研究由Ju Ma、Juan Zhao和Yao Hou共同完成,三位作者均来自中国地质大学(武汉)机械与电子信息学院。该论文于2024年8月25日发表在期刊 Sensors 上,论文标题为《Spatial–temporal transformer networks for traffic flow forecasting using a pre-trained language model》。
交通流预测是智能交通系统的重要组成部分,其核心在于对交通数据中复杂时空依赖关系的建模。传统统计方法如ARIMA和SARIMA虽然具有可解释性,但受限于数据平稳性假设,难以处理交通数据的非线性和复杂性。机器学习方法如支持向量机和集成学习虽然有所改进,但预测精度仍然受限。近年来,深度学习尤其是时空图神经网络(STGNNs)在交通预测中取得了显著进展,该类模型将图神经网络与序列模型相结合,以同时捕捉空间和时间依赖。然而,这种混合结构导致模型日益复杂,且图神经网络往往依赖预定义的图结构,难以适应动态变化的交通网络。Transformer架构凭借自注意力机制能够动态建模空间依赖,且可以避免显式图结构的使用,但现有基于Transformer的方法在初始阶段同时输入时空信息,容易造成两者信息的混淆。在此背景下,本研究旨在构建一个仅依赖Transformer架构并借助预训练语言模型来提升交通流预测性能的新框架。
本研究提出了名为STTLM的时空Transformer网络框架。该方法的核心设计包括两个部分:一是嵌入层,二是由时间Transformer编码器、空间Transformer编码器和预训练语言模型组成的网络结构。在嵌入层中,研究者设计了四种不同的嵌入来分别表示交通序列中的不同信息。特征嵌入 (Ek) 通过全连接层将原始输入映射到高维空间,以保留原始序列信息。时间连续性嵌入 (E{ep}) 采用可训练的位置编码,用于捕捉交通流序列中的时间顺序关系。时间周期性嵌入 (E_p) 由每周周期嵌入 (E_w) 和每日周期嵌入 (E_d) 拼接而成,用于建模交通流的周期特征。空间嵌入 (E_s) 则基于Haar小波变换生成,具体做法是对每个节点的交通序列进行小波分解,得到近似系数和细节系数,将二者拼接后作为空间信息的表示,从而在不依赖预定义图结构的情况下反映节点间的空间关联。最终,时间嵌入 (E_t) 由特征嵌入、时间连续性嵌入和时间周期性嵌入拼接而成,维度为 (R^{T×N×4d_h}),空间嵌入维度为 (R^{T×N×d_h})。
在网络结构方面,时间嵌入首先输入时间Transformer编码器,该编码器利用缩放点积注意力机制计算注意力分数矩阵 (A^{(t)}),用以捕捉各节点时间序列内部的时间依赖。经过层归一化、跳跃连接和前馈网络后,输出更新后的时间特征 (E’_t)。随后,空间依赖由空间Transformer编码器处理,该编码器的输出 (Z) 与空间嵌入 (E_s) 相结合,形成同时包含时空信息的表示。这一设计避免了在自注意力初始阶段时空信息的混淆,使模型能够分别提取时间与空间特征后再进行融合。在预训练语言模型部分,研究者将 (Z) 按节点数量展开为若干时间步序列,每个时间步的嵌入作为一个token输入预训练语言模型。模型采用LLaMA-7b作为骨干,但仅使用其中一个隐藏层(或两个隐藏层用于STTLM_2l变体),并通过LoRA技术进行参数高效微调。LoRA方法冻结预训练参数,仅训练新添加的低秩矩阵,从而显著减少了可训练参数量。最后,语言模型最后一个隐藏层的输出通过线性层投影到目标序列,得到未来交通流预测值。
实验部分使用了四个真实交通数据集:METR-LA、PEMS-BAY、PEMS04和PEMS08。METR-LA包含207个洛杉矶高速公路环形传感器采集的数据,PEMS-BAY包含325个湾区传感器数据,PEMS04包含307个传感器数据,PEMS08包含170个传感器数据,所有数据集的采样间隔均为5分钟。数据划分方面,METR-LA和PEMS-BAY按7:1:2划分训练、验证和测试集,PEMS04和PEMS08按6:2:2划分,测试集取序列最后20%以保证与基线方法一致。模型使用PyTorch 2.0.1实现,在NVIDIA RTX 3090 GPU上训练。时间Transformer编码器设置3层,空间Transformer编码器设置4层,多头注意力头数为4。
与多个基线模型的对比实验表明,STTLM在绝大多数指标上取得了最佳性能。基线模型包括DCRNN、GWNet、AGCRN、MTGNN以及Transformer-based的STAEformer,另外还比较了使用四层和七层Transformer解码器的变体ST_4l和ST_7l。在METR-LA数据集上,STTLM在3、6、12个预测步长上的MAE分别为2.62、2.94、3.31,RMSE分别为5.05、5.94、6.88,MAPE分别为6.72%、7.98%、9.54%,均优于或接近所有基线模型。在PEMS-BAY数据集上,STTLM同样在绝大多数指标上取得最佳结果,尤其在12步预测时MAE降至1.83,明显优于其他模型。在PEMS04和PEMS08数据集上,STTLM的平均MAE分别为17.73和12.82,均显著优于其他方法。这些结果表明,基于Transformer的模型在捕捉复杂时空关系方面优于STGNNs,而预训练语言模型的引入进一步提升了预测精度,即便该语言模型并未基于时间序列数据进行预训练。
消融实验验证了各嵌入的有效性。在METR-LA和PEMS-BAY数据集上,移除时间连续性嵌入 (E_{ep}) 后,模型性能下降最为显著,说明时间顺序信息对交通流预测至关重要。移除时间周期性嵌入 (E_p) 也会导致性能明显下降,而移除空间嵌入 (E_s) 的影响相对较小,表明简单的小波系数虽能提供空间信息,但其表达能力仍有提升空间。案例研究通过热力图和t-SNE可视化展示了嵌入在时间和空间轴上的分布,结果表明时间嵌入能够准确捕捉相邻时间帧的高相关性,空间嵌入能够将不同节点聚为有意义的簇,验证了嵌入设计的合理性。此外,STTLM在METR-LA数据集上的预测曲线与真实值高度吻合,尤其在交通流突变时仍能保持较好的跟踪能力,优于MTGNN和STAEformer。
在模型局限性方面,尽管LoRA微调大幅减少了可训练参数,但推理阶段仍需加载预训练语言模型全部隐藏层参数,对GPU资源要求较高,限制了实际部署。此外,增加预训练语言模型的隐藏层数量并未带来进一步的性能提升,STTLM_2l与STTLM的性能差异不大,这可能是因为随着模型规模增大,有效微调需要更大量的数据支持。
本研究的科学价值在于提出了一种不依赖复杂图神经网络而仅靠Transformer架构和精心设计的嵌入来提取交通流时空依赖的新框架,并通过预训练语言模型的引入提升了序列预测性能,为时空预测领域与自然语言处理领域的融合提供了新思路。在应用价值方面,该方法在多个真实交通数据集上展现了优异的预测精度,为智能交通系统中的实时交通管理与规划提供了可靠的技术参考。研究的亮点包括:采用时间Transformer先提取时间特征,再由空间Transformer融合空间信息,避免了时空信息在初始注意力阶段混淆的问题;利用Haar小波变换生成空间嵌入,无需预定义图结构即可表示节点空间关联;通过LoRA技术以较低成本微调大规模语言模型,展示了预训练语言模型在非语言任务中的潜力。未来工作将探索更高效的空间嵌入设计,以进一步提升模型的时空建模能力。