基于图神经网络填补空白的开创性研究：GRIN在多变量时间序列插补中的卓越表现

一、 研究作者、机构与发表信息

本研究由Andrea Cini*¹, Ivan Marisca*¹和Cesare Alippi¹²共同完成。研究团队主要来自瑞士AI实验室IDSIA，隶属于提契诺大学（Università della Svizzera Italiana）¹，同时，Cesare Alippi也隶属于米兰理工大学（Politecnico di Milano）²。此项研究成果以会议论文的形式发表，收录于2022年的ICLR（International Conference on Learning Representations）会议中，论文标题为“Filling the Gaps: Multivariate Time Series Imputation by Graph Neural Networks”（《填补空白：基于图神经网络的多变量时间序列插补》）。

二、 学术背景与研究目标

主要科学领域： 本研究隶属于机器学习、时间序列分析以及图表示学习的交叉领域，具体聚焦于多变量时间序列插补（Multivariate Time Series Imputation, MTSI） 任务。

研究背景与动机： 在现实世界的应用场景中，如传感器网络、物联网（IoT）、交通监控和智能电网等，由于设备故障、通信中断等原因，采集到的多变量时间序列数据经常存在大量缺失值。传统的数据插补方法，如基于多项式拟合的插值、k-近邻（k-Nearest Neighbors, KNN）、矩阵分解（Matrix Factorization, MF）等，在处理复杂的时空数据时存在明显局限。它们难以充分捕获传感器网络中非线性、动态的时空依赖关系。近年来，基于深度学习的插补方法（如BRITS、GAIN等）取得了显著进展，但这些方法通常未能显式地建模和利用传感器之间的关系信息（Relational Information），例如传感器之间的功能依赖性或空间邻近性。这种关系信息对于有效推断缺失数据至关重要，因为它允许模型利用相关传感器的完整信息来“虚拟”替代故障传感器。

与此同时，图神经网络（Graph Neural Networks, GNNs） 作为一种强大的工具，在处理具有关系结构的数据方面展现出了卓越的表达能力。然而，在论文发表之时，尚未有研究系统地评估GNN在通用多变量时间序列插补任务中的潜力，也缺少一个专门为此任务设计的、能够充分利用时空关系和GNN表达能力的框架。

研究目标： 本研究的核心目标是填补这一空白。作者旨在：1）提出一个方法论框架，将图神经网络应用于多变量时间序列插补；2）设计并实现一个新颖、实用且有效的GNN架构（即GRIN模型），该架构能通过学习时空表示来重建不同通道的缺失数据；3）通过在多个真实世界基准数据集上进行实证评估，证明该方法的优越性，并实现超越现有最佳方法（State-of-the-Art）的性能。

三、 研究详细工作流程

本研究的工作流程主要包括三个核心部分：问题建模与框架构建、GRIN模型设计、以及系统性实验评估。

1. 问题建模与框架构建： 研究首先将多变量时间序列形式化为一个图序列。具体而言，每个时间步的观测数据被建模为一个图 G_t = 〈X_t, W〉。其中，每个传感器（时间序列的一个通道）对应图中的一个节点，节点的属性向量 X_t 包含了该时间步的传感器读数。邻接矩阵 W 则编码了传感器之间的关系（如地理距离、相关性等），其权重 W_ij 表示节点i和j之间的连接强度。这种建模方式的关键优势在于，它将传感器网络的拓扑结构显式地引入了模型。当数据缺失时，通过引入一个二值掩码 M_t（1表示观测到，0表示缺失），问题被精确定义为：给定一个带掩码的图序列 {G_t, M_t}，目标是重建出缺失的真实值 X̃_t。

2. GRIN模型设计： 这是本研究的核心创新。作者提出了图循环插补网络（Graph Recurrent Imputation Network, GRIN）。GRIN是一个基于图神经网络的双向循环神经网络架构，其设计巧妙地将时空编码与空间解码分离，并通过信息传递（Message Passing）机制强制模型利用邻居信息进行插补。

• 整体架构： GRIN包含两个独立的单向处理模块，分别沿时间轴正向和反向处理序列。每个模块内部又分为两个阶段：时空编码器（Spatio-Temporal Encoder） 和空间解码器（Spatial Decoder）。最后，一个多层感知机（MLP）聚合两个方向学到的表示，生成最终的插补值。
• 时空编码器： 采用了一种新颖的信息传递门控循环单元（Message-Passing Gated Recurrent Unit, MPGRU）。与标准GRU不同，MPGRU中的更新门和重置门并非由全连接层实现，而是由信息传递神经网络（MPNNs） 实现。这使得每个节点的隐藏状态更新时，能够直接聚合其邻居节点的信息，从而学习到具有空间感知能力的时序动态。公式 (3)-(6) 详细描述了MPGRU在节点级别的计算过程。
• 空间解码器： 这是GRIN实现高效插补的关键。解码器执行两次插补迭代：
  • 第一阶段插补： 从MPGRU的隐藏状态通过一个线性读出层生成初步预测 Ŷ_t^(1)，并利用“填充算子”φ(·) 将其填入输入数据的缺失位置，得到初步重建值 X̂_t^(1)。
  • 第二阶段插补（核心约束）： 将 X̂_t^(1)、掩码 Mt 和前一时间步的隐藏状态 H{t-1} 拼接后，输入一个单层的MPNN。这个MPNN有一个关键的设计约束：对于目标节点i，其输出的“插补表示” S_t^i 仅聚合来自其邻居节点 j ∈ N(i) 的信息，而排除了节点i自身的输入特征 X_t^i（见公式9）。这一约束强制模型必须通过理解和利用局部空间依赖关系来重建缺失值，起到了强烈的正则化作用。最后，St^i 再与 H{t-1} 拼接，通过另一个线性读出层得到 refined 的预测 Ŷ_t^(2)，并再次填充得到第二阶段的输出 X̂_t^(2)，该输出将作为下一个时间步MPGRU的输入。
• 训练目标： 模型通过最小化所有插补阶段（正向和反向的第一、第二阶段）预测值与真实值（在模拟缺失的位置）之间的平均绝对误差（MAE）来训练。

3. 系统性实验评估： 为了全面评估GRIN，研究设计了详尽的实验方案。 * 研究对象（数据集）： 实验使用了来自三个重要应用领域的四个真实世界数据集： 1. 空气质量（AQI）： 包含中国437个监测站的PM2.5数据，以及一个广泛使用的36站点子集（AQI-36）。使用基于地理距离的高斯核构建邻接矩阵。 2. 交通流量（PEMS-Bay 和 METR-LA）： 分别包含旧金山湾区和洛杉矶高速公路传感器的数据。使用标准方法基于地理距离构建邻接矩阵。 3. 智能电网（CER-E）： 包含爱尔兰485个中小企业的智能电表能耗数据。使用基于时间序列互相关熵（Correntropy）的k-近邻图（k=10）构建邻接矩阵。 * 缺失数据模拟： 研究考虑了两种真实场景下的缺失模式： 1. 块缺失（Block Missing）： 模拟传感器故障，随机生成持续数小时至数天的数据块缺失。 2. 点缺失（Point Missing）： 随机掩盖25%的数据点，模拟稀疏的随机缺失。 * 实验设置： 评估分为样本内插补（模型在同一序列上训练和评估）和样本外插补（在训练集上训练，在独立测试集上评估）。后者更具实际应用价值。 * 对比基线： 研究选择了丰富的基线方法进行对比，包括：均值填充（Mean）、k-近邻（KNN）、矩阵分解（MF）、MICE、向量自回归（VAR）、以及最先进的深度学习方法如BRITS、RGAIN（一种基于GAN的方法）和作为消融对比的MPGRU（单向预测模型）。 * 评估指标： 使用平均绝对误差（MAE）、均方误差（MSE）和平均相对误差（MRE） 作为性能指标。

四、 主要研究结果

实验结果表明，GRIN在所有数据集和实验设置下均显著超越了所有基线方法，展现了其卓越的插补能力。

1. 主要性能结果（表1、表2）： * 在空气质量数据集上： 在样本外插补设置下，GRIN在AQI（437站）和AQI-36数据集上的MAE相较于最强的基线（BRITS）分别降低了超过20%和约18.7%。值得注意的是，即使在关系信息可能影响较小的AQI-36（仅36个节点）上，GRIN仍然表现出色，证明了其鲁棒性。 * 在交通流量数据集上： GRIN的优势更为明显。在PEMS-Bay数据集的点缺失设置下，GRIN的MAE（0.67）几乎只有BRITS（1.47）的一半，MSE降低了80%。在METR-LA数据集上，GRIN同样在各项指标上全面领先。 * 在智能电网数据集上： GRIN继续保持着最佳性能，在点缺失设置下，其MAE（0.29）远低于其他方法。

2. 消融研究结果（表3）： 为了验证GRIN各组件的重要性，作者进行了消融实验： * 移除空间解码器（w/o sp. dec.）： 性能下降，特别是在块缺失场景中（如METR-LA），证明了空间解码器利用邻居信息进行 refined 插补的关键作用。 * 使用去噪自编码器式解码器（w/ denoise dec.）： 性能显著下降，尤其是在块缺失场景中。这表明简单地重构所有节点（包括目标节点自身）不如GRIN那种“仅依靠邻居”的约束性解码有效。 * 与单向MPGRU对比： GRIN（双向）的性能远超单向MPGRU，凸显了双向处理未来和过去信息对于插补任务的重要性。

3. 虚拟传感（Virtual Sensing）的探索性结果（图3）： 研究进行了一项极具应用潜力的探索性实验——虚拟传感。在训练时，故意将AQI-36数据集中某些传感器的所有数据掩码掉（模拟该传感器完全不存在），然后让GRIN在测试时重建这些“虚拟传感器”的数据。定性（图3）和定量（MAE分别为11.74和20.00）结果均表明，GRIN能够较好地推断出未观测传感器的数据趋势和规模。这证明了GRIN不仅可用于修复缺失数据，还可能用于以低成本部署“虚拟传感器”，通过周围传感器网络来推断新位置的数据。

4. 对孤立节点的插补能力： 研究特别指出，GRIN即使在处理邻接图中孤立节点（与其他节点无连接）的缺失数据时，其性能也 consistently 优于BRITS。这表明GRIN架构中嵌入的正则化偏置（如循环状态传递）即使在没有显式空间信息的情况下，也能帮助模型学习有效的时序模式。

五、 研究结论与价值

本研究成功提出并验证了GRIN，这是第一个专门为通用多变量时间序列插补任务设计的、基于图神经网络的强大框架。

科学价值： 1. 方法论贡献： 为将GNN应用于MTSI任务建立了一个系统性的方法论框架，将时间序列建模为图序列，并明确定义了基于图的插补目标。 2. 架构创新： 设计了新颖的GRIN架构，其核心创新在于通过约束性的空间解码器，强制模型利用局部关系进行插补，引入了强大的、符合任务特性的归纳偏置（Inductive Bias）。 3. 性能突破： 在多个真实基准测试中实现了 state-of-the-art 的性能，平均绝对误差提升经常超过20%，为相关领域设定了新的技术标杆。

应用价值： 1. 提升数据质量： 为传感器网络、物联网、工业监测、医疗健康等领域中不完整时间序列数据的修复提供了更强大的工具，有助于提升下游分析和决策的可靠性。 2. 虚拟传感： 展示了GRIN在虚拟传感（或空间克里金插值，Kriging）方面的潜力，为优化传感器部署、降低成本提供了新思路。 3. 灵活性与可扩展性： 模型能够处理节点数量可变的多变量时间序列，且不依赖于缺失数据分布的特定假设（仅假设过程平稳），增强了其实用性。

六、 研究亮点

1. 开创性： 首次系统性地将图神经网络引入通用多变量时间序列插补领域，并提出了首个专门为此任务设计的GNN架构。
2. 新颖的模型设计： 提出的“信息传递GRU（MPGRU）”和“约束性空间解码器”是模型高效性能的关键。后者“仅依赖邻居”的设计理念巧妙而有效，是核心创新点。
3. 全面的实证评估： 在多个领域、多种缺失模式、以及样本内/外不同设置下进行了 rigorous 的测试，结果坚实可靠。不仅对比了性能，还通过消融实验深入分析了各组件贡献，并探索了虚拟传感等延伸应用。
4. 显著的性能提升： 在所有测试场景下均大幅超越现有最佳方法，证明了所提框架的有效性和优越性。

七、 其他有价值的内容

研究还讨论了未来的工作方向，包括：从理论角度研究保证准确重建的性质；扩展模型以处理非平稳设置；进一步评估GRIN在虚拟传感和主动传感（Active Sensing）中的应用。这些方向为后续研究指明了道路。此外，论文附有详尽的附录，包含了实验细节、数据集统计、代码复现说明以及与更多基线（如图正则化矩阵分解）的对比，体现了研究的严谨性和可复现性。