面向时空数据科学的基石模型：一份教程与综述报告

作者与发表信息 本文题为“Foundation Models for Spatio-Temporal Data Science: A Tutorial and Survey”，由Yuxuan Liang（香港科技大学（广州））、Haomin Wen（卡内基梅隆大学）、Yutong Xia（新加坡国立大学）、Ming Jin（格里菲斯大学）、Bin Yang（华东师范大学）、Flora Salim（新南威尔士大学悉尼分校）等学者共同撰写。该文作为一篇教程与综述论文，发表于2025年8月3日至7日在美国多伦多举行的第31届ACM SIGKDD知识发现与数据挖掘国际会议（KDD ‘25）的会议论文集第二卷中。

论文主题与性质 这是一篇系统性综述与教程性论文，旨在全面回顾和梳理“基石模型”（Foundation Models, FM）在“时空数据科学”（Spatio-Temporal Data Science）领域的应用、方法与未来方向。文章的核心主题是探讨以大型语言模型（LLM）和预训练基石模型（PFM）为代表的基石模型，如何革新从数据感知、管理到挖掘的整个时空数据处理流程，并推动时空通用智能的发展。

主要观点阐述

1. 时空数据科学面临范式转变，亟需基石模型赋能 文章开篇指出，时空数据科学在理解城市计算、气候科学、智能交通等复杂系统中具有基础性地位。传统深度学习方法（如时空图神经网络STGNN）虽在数据挖掘阶段取得显著进展，但其任务特定性和对大量标注数据的依赖限制了其泛化能力与适应性。受以LLM为代表的基石模型成功的启发，研究者开始探索“时空基石模型”（Spatio-Temporal Foundation Models, STFM）的概念。与以往架构不同，STFM旨在赋能时空数据科学的全流程（数据感知、管理、挖掘），提供更全面、可扩展的解决方案。然而，尽管进展迅速，针对STFM在时空数据科学全流程中的系统性研究仍然缺乏。因此，本文旨在填补这一空白，对STFM进行全面综述，对现有方法进行分类，并指明关键研究方向以推进时空通用智能。

2. 从工作流视角构建STFM的全面应用框架 文章提出了一个自底向上的四层框架来系统审视STFM的应用，覆盖了从原始数据到高级服务的完整链条： * 时空数据感知：包括从物联网设备、GPS、社交媒体等来源获取真实世界数据，以及利用FM生成合成数据以增强数据多样性和弥补数据缺口。例如，LLM可以作为智能体处理公民报告以优化城市监测，或作为调度器优化众包感知策略。 * 时空数据管理：关注海量异构时空数据的存储、组织与检索。FM可以提升此阶段的数据质量与效率，具体包括： * 数据清洗：利用LLM的零样本或少样本学习能力进行数据补全（如轨迹恢复、缺失视图增强）。 * 查询与检索：利用LLM的自然语言理解能力，进行上下文感知的精确信息检索（如UrbanLLM处理城市管理查询）。 * 数据集成：自动化构建知识图谱，整合多源异构数据（如UrbanKGent框架）。 * 时空数据挖掘：这是传统研究的核心，STFM通过集成三大关键能力来增强此过程： * 感知能力：指模型理解和解释复杂时空模式的能力，涵盖从环境中感知交互（如智能体理解周围环境）到从传感器数据中提取模式（如Pangu-Weather进行天气预测）。 * 优化能力：在感知基础上，驱动面向具体任务的决策制定。例如，基于LLM的智能体框架（如AgentMove用于人类移动预测）能够分解复杂任务，调用专家工具，实现自适应和可解释的决策。 * 推理能力：为实现时空通用智能，STFM需发展高级认知能力，包括：利用常识进行隐含推断的常识推理、处理定量信息的数值推理、以及揭示数据中因果关系的因果推理。 * 下游应用：将上述能力应用于解决实际问题，分为两类： * 数值问题：如预测、插补、异常检测等，STFM通过捕捉复杂依赖关系来提升性能（例如，UniST用于统一交通预测，NUWATS用于跨领域时间序列插补）。 * 推断性问题：需要结合推理与环境理解的高层认知任务，可归纳为四个关键问题： * 发生了什么？（事件分析）：如LAMP模型结合LLM进行溯因推理来检测和解释事件。 * 它在哪？（物理 grounding）：如GeoGPT进行地理定位，MapGPT进行地图重建，Itinera进行个性化路线规划。 * 该做什么？（决策制定）：如TrafficGPT整合多模态数据进行交通分析与优化，DDM-LAG用于自动驾驶决策。 * 如果…会怎样？（场景模拟）：利用基于STFM的多智能体系统模拟城市发展、社会演化或流行病传播等复杂动态。

3. 从方法论视角系统分类STFM的技术路径 文章从方法论角度将STFM构建路径分为两大类，并进行了深入比较： * 基于大型语言模型（LLM）的方法：利用已预训练好的LLM（包括标准LLM、视觉语言模型VLM、多模态LLM）来处理时空任务。 * 零样本学习：不更新模型参数，通过精心设计的提示（Prompt Engineering）或构建具有记忆、工具调用等能力的智能体（Agentic Engineering）来引导LLM完成任务。 * 监督微调：使用时空数据对LLM进行适配，分为全参数微调（计算成本高）、部分参数微调（可能破坏原有知识）和添加参数微调（如LoRA，高效且能保留预训练知识）。 * 基于预训练基石模型（PFM）的方法：从零开始，基于跨领域时空数据预训练专门的模型，不受语言先验限制，能更好地捕捉时空依赖。 * 神经架构：主要包括基于Transformer的模型（主导，擅长序列建模）、基于扩散的模型（在生成和预测任务中表现出色）、基于图神经网络的模型（擅长处理空间图结构）以及其他架构（如状态空间模型SSM、CNN）。 * 预训练方案：分为生成式预训练（学习数据分布进行重建）、对比式预训练（学习区分相似与不相似的数据对以获得稳健表示）以及混合式预训练（结合两者优势）。 * 数据模态：针对不同类型的时空数据发展专门的PFM，包括处理位置数据的模型（如UrbanCLIP, UrbanVLP）、处理轨迹/事件数据的模型（如UniTraj, MOTOR）、处理时空栅格数据的模型（如ClimaX, Pangu-Weather, UniST）以及处理时空图数据的模型（如GraphCast, OpenCity）。

4. 现有研究存在差距，未来面临挑战与机遇 文章通过对比表（表1）指出，与先前相关综述相比，本文是首个全面覆盖时空数据科学全工作流程（感知、管理、挖掘）并同时涵盖数值与推断性问题的现代综述。同时，文章也指出了当前STFM研究面临的挑战与未来方向： * 泛化能力：大多数PFM（如UniST）的训练和评估仍局限于特定领域（如交通），其跨领域、跨模态的泛化能力有待进一步验证和提升。 * 推理与认知能力：当前模型在识别和智能体任务上表现突出，但其推理和认知能力（尤其是与先进系统如DeepSeek-R1相比）仍显不足，需在常识、数值和因果推理方面加强。 * 可解释性：复杂的模型（尤其是LLM）决策过程往往如同“黑箱”，在需要可靠决策的时空应用中，提高模型的可解释性至关重要。 * 效率：大规模基石模型的训练和部署需要巨大的计算资源，如何在资源受限的边缘设备或实时应用中进行高效部署是一个实际挑战。 * 其他方向：包括开发更统一的评估基准、探索更有效的跨模态对齐方法、以及研究模型在隐私、公平性和伦理方面的考量。

论文的意义与价值 本文具有重要的学术价值和实践指导意义： 1. 系统性梳理与整合：首次从“工作流”和“方法论”两个互补的视角，对快速发展的时空基石模型领域进行了系统性的梳理、分类和整合，为研究者提供了一个清晰的知识图谱和结构化的研究框架。 2. 提出前瞻性愿景：明确提出了STFM应具备感知、优化、推理三大核心能力，并阐述了其在时空数据科学全生命周期中的赋能作用，为领域未来发展指明了方向。 3. 弥合研究空白：强调了将STFM应用从传统的“数据挖掘”阶段扩展到“数据感知”和“数据管理”阶段的重要性，并关注了以往被忽视的“推断性问题”，推动了研究视野的拓展。 4. 教程与指南作用：作为一篇教程性综述，它不仅总结了现有工作，还详细阐述了各类方法（如提示工程、智能体构建、不同预训练策略）的具体实施细节，对刚进入该领域的研究人员和学生具有很高的入门指导价值。 5. 激发未来研究：通过总结代表性方法（表2）、对比不同技术路径（表3）、绘制技术发展脉络图（图6）以及明确指出当前挑战和未来方向，本文有效地激发了该领域的进一步探索和创新。

总而言之，这篇论文是时空数据科学与人工智能交叉领域的一份重要文献，它既是对过去几年迅猛发展的阶段性总结，也是推动该领域向时空通用智能目标迈进的一份行动指南。