时空图持续预测中的扩展与压缩调优原则探索——EAC方法研究

作者及机构
本研究由Wei Chen和Yuxuan Liang∗（通讯作者）合作完成，两位作者均来自香港科技大学（广州）的INTR & DSA研究组。论文已获ICLR 2025接收（发布日期为2024年10月16日），代码已在GitHub开源（仓库地址：https://github.com/onedean/eac）。

学术背景
研究领域：该研究属于时空数据挖掘与持续学习（Continual Learning）交叉领域，聚焦动态时空图（Spatio-Temporal Graph）的连续预测问题。随着传感器网络的扩展，交通流量、空气质量监测等应用产生的时空数据呈流式增长，传统静态时空图神经网络（STGNNs）难以应对动态新增节点和灾难性遗忘（Catastrophic Forgetting）的双重挑战。
研究动机：现有方法（如完全重训练或简单持续学习）存在计算效率低或性能下降的缺陷。作者提出基于提示学习（Prompt Tuning）的轻量级框架EAC（Expand and Compress），旨在通过“扩展”和“压缩”两大核心调优原则，实现高效且鲁棒的持续预测。

研究流程与方法
1. 问题定义与理论分析
- 动态时空图模型：将流式数据建模为随时间τ演化的图序列G = (G₁, G₂, …, Gₜ)，其中每个时间片的图结构Gₜ = (Vₜ, Eₜ, Aₜ)包含新增节点ΔVₜ，节点特征为三维张量Xₜ ∈ ℝ^(n×t×c)。
- 核心问题：在最小化损失函数L(fθ(τ)(Gₜ, Xₜ), Yₜ)的同时，避免因新增节点和分布偏移导致的性能退化。

1. 方法设计

   • 提示参数池（Prompt Pool）：冻结基础STGNN模型参数，通过动态调整节点级提示参数矩阵P ∈ ℝ^(n×d)适应数据流。设计两大原则：
     
     • 扩展原则（Expand）：针对异构性（Heterogeneity），为每个新增节点分配独立提示参数，通过理论证明（命题1）显示其能提升特征空间离散度（图3）。
       
     • 压缩原则（Compress）：基于低秩特性（Low-Rank Property），将提示参数分解为A ∈ ℝ^(n×k)和B ∈ ℝ^(k×d)（k≪d），减少参数膨胀（命题2，图4）。
       
   • 实现方案：
     
     • 扩展阶段：逐周期追加新节点提示参数，如P = [P₁, P₂, …, Pₜ]。
       
     • 压缩阶段：利用奇异值分解（SVD）将提示矩阵降维，保留前k个最大奇异值（默认k=6）。
       

2. 实验验证

   • 数据集：覆盖交通（PEMS-Stream）、气象（Air-Stream）、能源（Energy-Stream）三大领域，节点数逐年递增（如Air-Stream从1087增至1202）。
     
   • 基线对比：包括Retrain-ST（全量重训练）、TrafficStream（回放策略）、TFMoE（专家混合模型）等6类方法。
     
   • 评估指标：MAE（平均绝对误差）、RMSE（均方根误差）、MAPE（平均绝对百分比误差）。
     

创新实验方法：
- 异构性量化：提出平均节点偏差（Average Node Deviation, d(x)）指标，验证提示参数对特征空间离散度的提升效果（公式2-13）。
- 低秩验证：通过谱分析证明提示参数矩阵的长尾分布特性，信息集中在前6个奇异值（图4）。

主要结果
1. 性能优势
- 多领域泛化性：EAC在三个数据集上均优于基线，如PEMS-Stream的MAE降低3.9%（表2），12步预测RMSE较次优方法下降7.73%。
- 小样本场景：仅用20%训练数据时（图5），EAC仍保持稳定性能，而持续学习基线（如Continual-ST-NN）因灾难性遗忘表现骤降。

1. 效率与轻量化

   • 参数效率：通过压缩原则，仅需调整59%的参数（k=6），在Air-Stream上训练速度提升1.26-3.02倍（图6）。
     
   • 架构普适性：适配不同STGNN架构（表3），尤其对谱域图卷积（Spectral-based GNNs）提升显著（MAE降低6.48%）。
     

2. 调优原则有效性

   • 扩展必要性：忽略异构性（如Pretrain-ST）导致MAPE上升27.54%。
     
   • 压缩鲁棒性：k值过低（如k=2）虽减少参数但性能下降，验证了低秩理论的合理性（图7）。
     

结论与价值
1. 科学价值
- 首次提出时空持续预测中的“扩展-压缩”双原则，通过理论分析（命题1-2）和实证验证（图3-4）建立调优方法论。
- 开辟提示学习在动态图数据中的应用范式，为后续大模型预训练提供基础（如参数冻结+轻量适配）。

1. 应用价值
   
   • 工业部署：轻量化设计（仅调提示池）适合边缘设备，如交通管理系统中的实时传感器网络扩展。
     
   • 跨领域迁移：框架兼容不同STGNN主干，可快速适配气象、能源等场景。
     

亮点总结
1. 方法论创新：将提示学习与持续学习结合，提出首个面向动态时空图的轻量调优框架。
2. 理论严密性：通过异构性度量与低秩分解，从本质上解释模型设计（公式9-13）。
3. 实验全面性：覆盖3大领域、7种基线、多步预测任务，验证普适性（表1-3）。

未来方向
作者计划将EAC原则扩展至大规模时空预训练模型，进一步探索提示学习在动态图挖掘中的潜力。