学术报告

作者及机构

本文的作者包括 Ming Jin、Qingsong Wen†、Yuxuan Liang、Chaoli Zhang、Siqiao Xue、Xue Wang、James Zhang、Yi Wang、Haifeng Chen、Xiaoli Li、Shirui Pan†、Vincent S. Tseng, Yu Zheng 和 Lei Chen 等，主要来自 Monash University、Alibaba Group、Hong Kong University of Science and Technology、Ant Group、A*STAR, Griffith University、National Yang Ming Chiao Tung University、JD Technology 以及 NEC Laboratories America 等单位，加上 IEEE 的多位 Fellow。本文以题为《Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook》的综述性论文发表在Journal of Latex Class Files (Volume 14, Number 8) 上，版本日期为2023年10月23日。

论文主题与背景

该论文聚焦于研究时序数据（time series data）和时空数据（spatio-temporal data）领域的大模型（large models）的最新进展与未来展望。时序数据和时空数据在现实世界中广泛存在，它们能够捕捉动态系统的测量值，且在地球科学、交通运输、能源、医疗保健和金融等众多领域具有重大价值。然而，传统的方法在解析这些数据时方法单一且规模较小，无法有效应对日益增长的实际数据复杂性和多样性。近年来，随着大语言模型（Large Language Models, LLMs）及其他预训练基础模型（Pre-trained Foundation Models, PFMs）的快速发展，人们越来越多地尝试将它们应用于时序与时空数据的建模中，以提升模式识别和推理能力。

论文对时序数据和时空数据中的大模型进行了首次全面探讨，将其分为四个关键领域：数据类型、模型类别、模型应用范围以及应用任务。这一综述的主要目标是为研究者和实践者提供详尽、可靠的知识总结，以支持未来的研究探索。

论文的主要观点

本文以“时序数据”和“时空数据”两大类别作为切入点，系统分析了大模型（LLMs 和 PFMs）的发展路径、主要方法以及应用场景。具体观点如下：

一、时序数据中的大模型（Large Models for Time Series Data, LM4TS）

1. 大语言模型在时序数据中的应用(Large Language Models for Time Series Data):

   • 通用模型（General-purpose Models）
     本文广泛讨论了大语言模型在预测（forecasting）、分类（classification）、和缺失值填补（imputation）等主要时序任务中的应用，其中包括多种框架，例如 Promptcast[57] 利用文本提示（prompting）进行时序预测，Time-LLM[49] 提供了一个不需要微调的高效时间序列分析系统。像 OFA[48] 等工作通过低参数微调方法实现传统任务与生成领域的迁移，而 LLMTIME[107] 进一步探索了 LLM 在小样本和零样本场景中的适用性。
     支撑性的实验结果表明，这些模型在性能和效率上均表现出色。

   • 领域特定模型（Domain-specific Models）
     论文分析了在不同行业中的 LLM 应用实践：在交通预测领域，AuxMobLCast[108] 利用人类流动数据实现精准预测；在金融任务中，Instruct-FinGPT[111] 等专注文本输入下的股价波动分析；而在医疗健康领域，Nyutron[58] 和 Gatortron[59] 等模型为临床事件预测和健康诊断提供有力支持。此外，还提到了一些复杂事件预测（Event Prediction）如 PromptTPP[120] 和其他基于时间点过程的尝试。

2. 预训练基础模型在时序数据中的应用(Pre-trained Foundation Models for Time Series Data):

   • 本文还探讨了 Masked Autoencoder（MAEs）、Contrastive Learning（对比学习）等技术在发展通用时间序列基础模型中的作用。例如，PatchTST[116] 利用局部语义信息设计出基于 Patch 的 Transformer 专注于长时间序列预测；而 STEP[39] 的序列分段技术及多层表示学习更适合复杂宏观时间序列数据。

二、时空数据中的大模型（Large Models for Spatio-Temporal Data, LM4STD）

1. 时空图模型 (Spatio-Temporal Graphs)

   • 大语言模型在时空图数据上的应用
     本文提到了如 LA-GCN[121] 等将大语言模型嵌入到时空图神经网络（Spatio-Temporal Graph Neural Networks, STGNNs）中的有效尝试，这些方法通过 LLM 提供的先验知识或隐式推理能力提升图智能体的建模准确性。

   • 预训练基础模型在时空图数据上的应用
     在气候建模中，FourcastNet[136] 使用傅里叶变换加速多尺度气候预测；而 Pangu-Weather[140] 和 Fengwu[139] 则展示了天气预报的更高时效性和精度。此外，交通流预测中如 TrafficBERT[143] 等大模型通过自注意力机制更有效地捕获时间和空间维度上的复杂依赖关系。

2. 时序知识图谱模型 (Temporal Knowledge Graphs)

   • 论文在此部分探讨 LLM 如何应用于知识图谱（Knowledge Graphs）的时序推理。主要包括未来事件预测，如[125]通过历史事实生成预测提示；以及完整性补全(Completion)，如 PPT[123] 提出的多模板融合。

3. 视频数据模型 (Video Data)

   • 视频数据因其复杂时空依赖常被用于多模态任务，Lavender[135] 和 OmnivL[144] 分别通过 LLM 和 PFM 实现多任务能力扩展。此外，Video-ChatGPT[151] 将视频内容提取后输入对话模型实现交互功能。

论文的意义及贡献

1. 科学贡献
   本文首次全面梳理了大语言模型和预训练基础模型在时序数据及时空数据领域的发展现状，构建了一个统一的分类体系，涵盖数据类型、模型框架、任务范围和跨行业应用，将以往孤立的研究串联起来。

2. 实际应用
   提供了详尽资源清单，包括数据集（如 Metr-LA, MIMIC-III）、预训练模型（如 Nyutron, TrafficBERT）以及工具（如 SUMO, Microsoft Graphcast）。这些成果为工业系统构建和学术研究提供了可靠参考和便捷入口。

3. 未来展望
   作者提出了一些有待深入挖掘的方向，如模型在小样本、偏置数据条件下的适配性、数据无监督建模的潜力等，并鼓励更多跨领域协作以推动技术创新。

亮点

1. 本文整合了大量高质量的开源数据和模型工具，为从业者快速参考和应用提供了坚实支持。
2. 强调跨模态预训练的重要性，尤其是 LLM 和 PFM 在应对多维数据种类中的优势。
3. 提出了若干创新应用场景（如医疗事件、交通预测和气候建模）。

总结来看，文章将时序和时空数据上的大模型研究提升到了一个全新高度，不仅系统厘清了现有问题，也指明了未来的发展方向。