本文是一篇综述性学术论文（类型b），题为《A survey on spatio-temporal prediction: from transformers to foundation models》，由河海大学（Hohai University）的Yingchi Mao、Hongliang Zhou、Ling Chen、Rongzhi Qi、Yi Rong，南京邮电大学（Nanjing University of Posts and Telecommunications）的Zhende Sun、Xiaoming He、Mingkai Chen，以及Nottingham Trent University的Shahid Mumtaz、Intel Deutschland GmbH的Valerio Frascolla、Mohamed bin Zayed University of Artificial Intelligence的Mohsen Guizani和Federal University of Piauí的Joel Rodrigues等多位学者联合完成。该文发表于《ACM Computing Surveys》第58卷第4期，文章编号85，出版时间为2025年10月，DOI为10.1145/3766546。论文系统梳理了从Transformer到基础模型（foundation models）在时空预测（spatio-temporal prediction）领域的研究进展，并提供了统一的分类框架、应用领域分析、评估方法与未来研究方向。
论文的第一个核心观点是：Transformer及其衍生模型已成为时空预测任务中的主流方法，其核心优势在于自注意力机制（self-attention mechanism）能够同时捕捉空间依赖和时间依赖。传统统计模型如ARIMA和机器学习模型如支持向量机（SVM）在处理高维、非线性、长程依赖的时空数据时能力有限，而卷积神经网络（CNN）和循环神经网络（RNN）虽然在一定程度上提升了建模能力，但RNN难以并行计算，CNN需要额外模块处理长程依赖。Transformer通过自注意力机制对所有序列元素进行并行全局建模，有效克服了上述不足。论文将Transformer的改进方法归纳为三类：模块增强（module enhancement）、架构调整（architecture adjustment）和基础模型（foundation models）。模块增强包括对自注意力、位置编码（positional encoding）、前馈神经网络（feedforward neural network）和层归一化（layer normalization）的改进；架构调整则涉及引入层次化架构（hierarchical architecture）和附加模块（additional module），例如将图神经网络（GNN）与Transformer结合，以增强对空间结构的建模能力；基础模型则通过大规模预训练和微调策略，在零样本和少样本场景下展现出优异性能。
论文的第二个核心观点是：时空数据具有多种类型，包括时间序列（time series）、位置（location）、轨迹（trajectory）、时空栅格（ST raster）、时空图（ST graph）、图像和视频等，不同数据类型需要不同的模型设计策略。论文对每一类数据给出了形式化定义，例如轨迹被定义为按时间排序的位置序列，时空图则通过节点集合、边集合和邻接矩阵显式地表示非均匀分布位置之间的空间相关性。这些定义为后续讨论模型在具体应用中的适配方式奠定了基础。在应用领域方面，论文重点讨论了城市交通（urban transportation）、气候监测（climate monitoring）和运动预测（motion prediction）三大方向，并在每个方向中按照模块增强、架构调整和基础模型三个类别对现有模型进行了系统归类与分析。
在城市交通应用中，交通流量预测、速度预测和道路拥堵检测是主要任务。论文列举了多个代表性模型，例如Traffic Transformer通过设计多种位置编码策略（包括相对位置编码、全局位置编码、周期位置编码和时间序列分段）来捕捉交通数据的连续性与周期性；LASTJORMER提出了时空联合注意力机制，在多个时间步上计算传感器之间的点积自注意力，并结合线性注意力和卷积自注意力以降低计算成本；ASTTGN设计了自适应时空Transformer图网络，利用门控机制融合并选择性增强时空特征；Bi-STAT采用编码器-解码器结构，结合时空自适应Transformer和动态停止模块（dynamic halting module）以合理分配计算负担。论文还指出，在架构调整方面，ASTGCN通过并行注意力模块分别处理短期、日周期和周周期依赖；TSTNet使用图注意力网络学习空间特征聚合，并结合序列到序列的Transformer结构建立时间依赖；HSTGCNT则结合长时序Transformer网络和层次化时空图卷积网络，分别提取长期时间关系和短期时空关系。在基础模型方面，PBTR、BiTimeBERT、TFM、PGT和STP-FPTN等模型利用预训练和迁移学习策略，提高了模型的泛化能力和对长距离时空相关性的建模能力。
在气候监测应用中，论文关注天气预测、降雨预报、风速预测和空气质量预测等任务。模块增强类别中，STGTN设计外部注意力机制以捕捉样本之间的潜在关系；AirFormer采用两阶段模型，在确定性阶段使用靶心空间自注意力（dartboard spatial self-attention）和因果时间自注意力（causal temporal self-attention）分别捕捉空间和时间依赖，在随机阶段利用潜变量表示空气质量数据中的不确定性；ST-Transformer引入稀疏注意力机制，聚焦于空间、时间和变量维度上的有价值上下文信息。架构调整类别中，EarthFormer利用层次化编码器-解码器架构，通过从粗粒度到细粒度的逐步精细化过程生成预测；EEMD-Transformer结合集成经验模态分解（EEMD）将一维原始风速序列转换为多维序列，再由Transformer直接建模；MixFormer设计了时空高斯混合注意力层，融合周期性时间上下文和长期空间上下文。基础模型类别中，ClimaX在Transformer基础上增加了编码和聚合模块，提高了计算效率和通用性；FengWu将不同大气变量视为不同模态，使用模态特定编码器和跨模态Transformer建模变量间的相互作用。
在运动预测应用中，论文涵盖了行人轨迹预测、车辆轨迹预测和人体运动预测等任务。模块增强类别中，TrajFormer利用基于位置社交网络和地理信息的语义位置编码来精确预测出租车下一目的地；PreTR采用分解注意力模块和非自回归解码方式，降低了训练和测试计算时间；ST-Transformer设计了去耦合时空注意力机制，同时考虑当前和过去运动状态。架构调整类别中，STNDT结合空间自注意力子层和时间卷积网络，分别捕捉交通参与者之间的全局空间交互和连续帧之间的时间关系；TUTR在一个统一的Transformer编码器-解码器框架中整合了轨迹预测、社交交互建模和多模态轨迹预测；HPNet将地图约束整合到网络结构中，并引入多任务优化策略以学习拓扑和规则约束。基础模型类别中，SGTN将行人转换为伪图像，通过社会交互时空图和时间外推器生成未来轨迹的概率分布；BEVGPT以鸟瞰视图为唯一输入，利用生成式预训练Transformer进行驾驶场景预测、决策和运动规划。
论文的第三个核心观点是：模型评估需要结合公开数据集、评价指标和性能分析。在城市交通领域，常用的公开数据集包括METR-LA、PeMS系列（PeMS-Bay、PeMSD3、PeMSD4、PeMSD7、PeMSD8）、TaxiNYC、BikeNYC和TaxiSZ等。评估指标包括平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）。论文在METR-LA数据集上对多个模型进行了15分钟、30分钟和60分钟预测性能对比，结果显示Traffic Transformer在多个时间步上取得了最优性能，LASTJORMER在较短时间步内取得了次优性能。在PeMS系列数据集上，CORRSTN在PeMSD7和PeMSD8上取得了最佳预测结果，STP-FPTN和Bi-STAT也表现出较强的竞争力。论文指出，气候监测领域由于应用场景差异较大，难以直接通过实验对比不同模型性能，因此采用了基于输入特征、输出结果和创新点的对比分析方法。
论文的第四个核心观点是：未来研究应关注低质量时空预测、模型压缩与实时性、模型可解释性、模型泛化能力以及外部信息融合等方向。低质量时空预测针对数据缺失、噪声干扰和不完整观测条件下的预测问题；模型压缩与实时性研究旨在降低Transformer模型的计算和存储开销，以适应边缘设备和实时预测场景；模型可解释性研究致力于揭示模型内部决策机制，提高预测结果的可信度；模型泛化能力研究关注模型在不同城市、不同领域和不同数据分布之间的迁移能力；外部信息融合则探索如何将文本、图像、知识图谱等外部信息与时空数据结合，以进一步提升预测精度。
总体而言，该综述从背景知识、技术方法、应用领域、模型评估和未来方向五个维度构建了完整的时空预测知识体系，系统梳理了从Transformer到基础模型的发展脉络，为相关领域的研究者提供了全面的参考框架和资源清单。论文整理的相关论文和开源资源可通过GitHub仓库持续获取，具有较强的实用价值。