学术报告：基于自监督学习的时空纠缠Transformer（SSL-STMFormer）在交通流量预测中的应用
一、研究作者与机构
本研究的作者包括Zetao Li、Zheng Hu、Peng Han、Yu Gu和Shimin Cai，均来自中国电子科技大学（University of Electronic Science and Technology of China, Chengdu 610054, China）。该研究发表于2025年AAAI人工智能会议（AAAI Conference on Artificial Intelligence），并由人工智能促进协会（Association for the Advancement of Artificial Intelligence）出版。
二、学术背景
交通流量预测是智能交通系统（Intelligent Transport Systems, ITS）中的关键问题。尽管已有大量研究致力于交通流量建模，但现有方法仍存在显著局限性：（1）大多数模型无法捕捉长距离和长时间跨度的交通流量相似性；（2）难以处理由不同交通流量模式引起的时空异质性；（3）静态建模方法无法有效捕捉复杂的时空纠缠关系。为解决这些问题，本研究提出了一种基于自监督学习时空纠缠Transformer（SSL-STMFormer）的交通流量预测框架。该框架采用自监督学习范式，利用Transformer架构捕捉更丰富的时空信息，以更好地表示交通流量模式。
三、研究流程
1. 数据嵌入层
数据嵌入层的目的是将输入数据转换为高维表示，以便更有效地学习和建模复杂模式。具体步骤包括：
- 通过全连接层将原始输入转换为高维表示。
- 使用图拉普拉斯特征向量表示道路网络结构（空间信息）。
- 通过时间周期嵌入捕捉每日和每周的周期性特征（时间信息）。
- 使用时间位置编码（Temporal Position Encoding, TPE）捕捉输入序列的位置信息。
时空编码层
时空编码层基于注意力机制和纠缠感知方法，有效建模时空数据中的复杂动态依赖关系。该层包括四个关键组件：
自适应数据增强
为提高模型对异质区域依赖关系的感知能力，设计了自适应数据增强方案，包括交通流量增强和道路网络增强。
空间异质性建模（SHM）
通过自监督学习和软聚类方法，捕捉城市功能区域的空间异质性。
时间异质性建模（THM）
通过自监督学习任务，捕捉特定时间步长的交通模式变化。
模型训练与优化
模型通过最小化预测误差和自监督学习任务的联合损失函数进行优化。
四、主要结果
1. 在基于图的数据集上的表现
SSL-STMFormer在PEMS04、PEMS07和PEMS08数据集上均取得了最优性能，平均在MAE、MAPE和RMSE指标上分别提升了5.04%、5.53%和5.02%。
在基于网格的数据集上的表现
在NYCTaxi、T-Drive和ChiBike数据集上，SSL-STMFormer显著优于所有基线模型，平均在MAE、MAPE和RMSE指标上分别提升了10.91%、9.86%和7.18%。
消融实验
消融实验表明，去除自监督学习组件或纠缠感知模块会导致模型性能显著下降，验证了这些组件的必要性。
五、研究结论
本研究提出的SSL-STMFormer模型通过结合自监督学习、时空注意力机制和纠缠感知方法，有效捕捉了动态交通模式和复杂的时空依赖关系。实验结果表明，该模型在多个真实世界交通数据集上均表现出色，显著优于现有最先进模型。该研究为交通流量预测提供了新的思路和方法，具有重要的科学价值和实际应用价值。
六、研究亮点
1. 创新性方法：首次将自监督学习与时空Transformer结合，提出了SSL-STMFormer框架。
2. 纠缠感知模块：设计了空间和时间纠缠感知模块，有效捕捉了复杂的时空依赖关系。
3. 自适应数据增强：通过自适应数据增强方案，提高了模型对异质区域依赖关系的感知能力。
4. 广泛实验验证：在六个真实世界交通数据集上进行了广泛实验，验证了模型的有效性和泛化能力。
七、其他有价值内容
该研究还为未来工作提供了方向，例如将SSL-STMFormer扩展到其他时空预测任务（如犯罪率预测）。此外，研究中的自适应数据增强和纠缠感知方法也为其他领域的时空数据建模提供了借鉴。