联邦学习时间序列预测模型的梯度反演攻击研究：TS-Inverse框架
作者及发表信息
本研究由Caspar Meijer（荷兰应用科学研究组织TNO及代尔夫特理工大学）、Jiyue Huang（代尔夫特理工大学）、Shreshtha Sharma（TNO）、Elena Lazovik（TNO）和Lydia Y. Chen（代尔夫特理工大学及瑞士纳沙泰尔大学）共同完成。该研究已被第3届IEEE安全可信机器学习会议（SATML 2025）接收，最终版本将在IEEE Xplore发布。
学术背景
本研究属于隐私保护机器学习与时间序列分析的交叉领域，聚焦于联邦学习(Federated Learning, FL)环境下的时间序列预测(Time Series Forecasting, TSF)模型安全。在能源负荷预测等隐私敏感场景中，联邦学习允许多个客户端在不共享原始数据的情况下协作训练预测模型。然而，服务器可能通过梯度反演攻击(Gradient Inversion Attacks, GIA)从客户端上传的梯度中重构原始训练数据。
尽管梯度反演攻击在图像分类任务中已被广泛研究，但针对时间序列回归任务的攻击仍属空白。时间序列数据具有独特的挑战：(1) 需要同时重构观测序列(observations)和目标值(targets)；(2) 时间序列模型（如GRU、TCN）的结构特性增加了反演难度；(3) 传统图像领域的正则化方法（如总变差正则化）对时间序列效果不佳。本研究旨在填补这一空白，提出首个针对联邦时间序列预测模型的专用梯度反演框架TS-Inverse。
研究流程与方法
1. 实证分析现有攻击方法的局限性
研究团队首先对4种主流梯度反演攻击方法（DLG、InVG、DIA和LTI）在4个时间序列数据集和4种模型架构（CNN、FCN、TCN和GRU）上的表现进行了系统评估：
- 实验设计：使用电力负荷（Electricity 370）、伦敦智能电表（London Smartmeter）、专有数据集和KDD Cup 2018空气质量数据集，评估指标为对称平均绝对百分比误差（SMAPE↓）
- 关键发现：
- 模型架构影响：TCN和GRU由于dropout层和门控机制导致的”多对一”映射特性，比CNN和FCN更难反演
- 梯度距离函数：L2范数比余弦相似度更能准确重构目标值，因为需要考虑梯度幅值
- 正则化失效：图像领域常用的总变差正则化(Total Variation)会恶化时间序列重构效果（表I显示λtv增加导致SMAPE上升）
2. TS-Inverse框架设计
基于实证分析结果，研究团队提出了专为时间序列设计的TS-Inverse框架，包含三大创新组件：
(1) 梯度反演模型(Finv)
- 功能：利用辅助数据集训练一个能够从梯度预测分位数界限的模型Finv: ℝᵐ→(ℝʰˣᵈˣᵠ, ℝᶠˣᵈˣᵠ)
- 训练过程：
- 预处理：通过插值使辅助数据与目标序列长度一致
- 损失函数：采用分位数损失(Pinball loss)同时优化观测值和目标值的多个分位数水平（τ∈{0.1,0.3,0.7,0.9}）
- 网络结构：包含两个分别处理观测值和目标值的模块，每个模块含两个残差块（隐藏层768和512）和分位数输出层
(2) 时间序列正则化优化
- 梯度距离函数：采用L1范数替代传统的L2或余弦相似度，提高对异常梯度的鲁棒性
- 时间序列特定正则化：
- 周期性正则化：强制相邻周期点相似，损失函数为MAE：1/(T-p)∑|sₜ-sₜ₊ₚ|
- 趋势正则化：通过线性回归拟合长期趋势，计算序列与趋势线的MAE
- 分位数界限正则化：利用Finv预测的分位数作为软约束，对超出界限的值施加惩罚
(3) 单样本目标值解析重构
针对批量大小b=1的特殊情况，推导出目标值的解析解： 1. 通过偏置梯度∇b重构目标：y = wx + b - ∇b·n/2 2. 当∇b可逆时，可直接计算：y = w(∇b)⁻¹∇w + b - ∇b·n/2
3. 实验验证
研究团队在4个数据集和5种模型架构上进行了系统评估：
- 评估指标：SMAPE（对称平均绝对百分比误差）
- 对比基线：包括DLG（LBFGS/Adam优化）、InVG、DIA和LTI
- 关键结果：
- TS-Inverse在所有非RNN架构上实现2-10倍的SMAPE提升（表II）
- 在TCN架构上，仅使用L1距离（无正则化）即可将SMAPE从0.515降至0.081（表IV）
- 组合所有正则化后，在Electricity 370数据集上达到0.124 SMAPE（表VIII）
- 可视化结果（图5,7）显示TS-Inverse能准确捕捉时间序列的周期性和趋势特征
主要研究成果
1. 方法学贡献
- 首个系统性分析：揭示了时间序列梯度反演与图像分类攻击的三点本质区别：(1)需同时重构观测值和目标值；(2)模型架构（如TCN的因果卷积、GRU的门控机制）增加反演难度；(3)图像正则化方法不适用于时间序列
- 专用框架TS-Inverse：通过梯度反演模型、L1距离函数和时间序列特定正则化的组合，显著提升重构精度
- 理论推导：提出针对单样本情况的解析解法，可精确重构目标值
2. 防御建议
研究发现不同防御策略的效果差异显著： - 传统防御：差分隐私(DP)和梯度裁剪会大幅降低模型效用（表IX中高斯噪声导致SMAPE≈2.0） - 模型架构防御：GRU-based架构因”多对一”映射特性表现出更强的鲁棒性（图11） - 防御效果排序：Sign SGD > DP > Pruning > 无防御
研究价值与意义
科学价值
- 开辟了时间序列梯度反演研究的新方向，建立了该领域的评估基准
- 揭示了时间序列模型结构与反演难度之间的关联机制
- 提出的分位数预测和序列正则化方法可推广至其他时序数据处理任务
应用价值
- 为能源、医疗等隐私敏感领域的联邦学习系统提供安全评估工具
- 指导防御策略选择：在准确性和安全性之间提供量化权衡依据
- 开源实现（GitHub.com/capsar/ts-inverse）促进社区研究
研究亮点
- 问题新颖性：首次系统研究时间序列预测模型的梯度反演问题
- 方法创新：
- 将分位数回归引入梯度反演框架
- 设计时间序列专用正则化（周期+趋势+分位数约束）
- 推导出单样本目标值的解析解法
- 实验全面性：覆盖4类数据集、5种模型架构和多种攻击场景
- 实用价值：在真实电力数据上验证了框架有效性，错误率降低5-10倍
其他有价值内容
消融分析：详细验证了各组件贡献（表IV-VIII）：
- L1距离比L2和余弦相似度更适合时间序列
- 周期正则化(λp=2)和趋势正则化(λt=2)组合效果最佳
- 分位数约束中，观测值权重(λq^obs=1)应高于目标值(λq^tar=0.1)
计算效率：梯度反演模型Finv只需训练一次（75轮），可快速应用于新攻击场景
可解释性：图7展示分位数预测如何作为先验知识指导重构过程，增强方法透明度
该研究不仅提升了我们对联邦学习隐私风险的认识，也为开发更安全的时序预测系统提供了重要工具和方法论指导。未来工作可扩展到多元时间序列和更复杂的Transformer架构。