基于表征相似性分析的联邦学习数据投毒防御研究：RSIM-FL的提出与验证

作者及发表信息
本研究由中山大学的Gengxiang Chen、剑桥大学的Kai Li、伦敦玛丽女王大学的Ahmed M. Abdelmoniem及中山大学的Linlin You（通讯作者）合作完成，发表于2024年ACM网络会议（WWW ‘24 Companion）。论文标题为《Exploring Representational Similarity Analysis to Protect Federated Learning from Data Poisoning》。

学术背景
联邦学习（Federated Learning, FL）作为一种隐私保护的分布式学习范式，允许多个客户端在不共享原始数据的情况下协作训练全局模型。然而，这种模式也面临数据投毒攻击（如标签翻转攻击，Label-Flipping Attacks, LFAs）的威胁，攻击者通过篡改本地数据破坏模型稳定性。现有防御策略大多假设数据满足独立同分布（Independent and Identically Distributed, IID）条件，但在实际非IID场景（如物联网设备数据）中性能显著下降。为此，本研究提出RSIM-FL，通过引入表征相似性分析（Representational Similarity Analysis, RSA）检测恶意模型更新，以应对非IID环境下的安全挑战。

研究流程与方法
1. 问题定义与系统架构
- 场景设置：FL系统包含1个中央服务器和30个客户端，其中40%为恶意客户端，发起标签翻转攻击（如MNIST数据集中将“9”翻转为“7”）。
- 核心思想：通过计算本地模型与全局模型对同一刺激数据集（stimulus dataset）的响应相似性，识别恶意模型。

1. 客户端与服务器端设计

   • 客户端：分为良性客户端（使用标准数据集训练）和恶意客户端（上传基于投毒数据的模型）。
     
   • 服务器端：
     
     • 表征相似性分析（RSA）：对每个本地模型𝑤𝑛和全局模型𝑤𝐺，计算其表征相似性矩阵（Representational Similarity Matrix, RDM）。公式如下：
       [ RDM_n[i,j] = \frac{O(s_i) \cdot O(s_j)}{|O(s_i)| |O(s_j)|} ]
       其中，𝑂(𝑠𝑖)为模型对刺激样本𝑠𝑖的输出向量。
       
     • 表征一致性（RC）计算：通过皮尔逊相关系数（Pearson Correlation Coefficient）量化本地模型与全局模型的相似性：
       [ RC_{n,G} = [\rho(RDM_n, RDM_G)]^2 ]
       
     • 聚类与聚合：对RC集合进行归一化后，使用K-means聚类分离恶意模型，仅聚合良性模型以更新全局模型。
       

2. 实验验证

   • 数据集：MNIST（手写数字）和GTSRB（交通标志），通过狄利克雷分布（Dirichlet distribution, α=0.5）模拟非IID数据。
     
   • 基线方法：对比FedAvg、Median、PEFL、LFR-PPFL、FoolsGold五种防御算法。
     
   • 评估指标：
     
     • 准确率（Top-1 Accuracy, Acc）
       
     • 攻击成功率（Attack Success Rate, ASR）
       

主要结果
1. 性能对比
- IID场景：RSIM-FL在MNIST和GTSRB上均表现最优（MNIST Acc=0.989, ASR=0.002；GTSRB Acc=0.950, ASR=0.000），显著优于基线（如FoolsGold在MNIST中ASR=0.004）。
- 非IID场景：基线方法性能大幅下降（如FoolsGold在GTSRB中ASR从0.003升至0.179），而RSIM-FL保持稳定（MNIST Acc=0.985, ASR=0.002；GTSRB Acc=0.944, ASR=0.005）。

1. 鲁棒性分析
   
   • RSIM-FL对多种标签翻转攻击的ASR均值仅为0.60%（非IID下），而未防御的FedAvg ASR均值高达49.45%。
     

结论与价值
1. 科学价值：
- 首次将RSA引入FL安全领域，提出了一种适用于非IID场景的防御框架。
- 通过理论分析与实验验证，证明了RSA在恶意模型检测中的高效性和鲁棒性。

1. 应用价值：
   
   • 为物联网（IoT）等高度异构数据场景下的FL安全提供了实用解决方案。
     
   • 相比现有方法，RSIM-FL在保持高准确率的同时，将攻击成功率降低17%（非IID场景）。
     

研究亮点
1. 方法创新：
- 利用RSA量化模型间相似性，避免了传统统计方法对IID假设的依赖。
- 结合聚类算法实现恶意模型的精准隔离，减少对良性模型的误判。

1. 实验设计：
   
   • 在严格非IID设置下验证了方法的普适性，覆盖多种标签翻转攻击变体。
     
   • 公开代码与数据集，支持结果复现。
     

未来方向
1. 扩展至其他攻击类型（如后门攻击）。
2. 优化RSA计算效率以降低资源开销。
3. 适配异步联邦学习（Asynchronous FL）场景。

资助信息
本研究得到广东省基础与应用基础研究基金（2023A1515012895）和国家自然科学基金（62002398）支持。