联邦学习中的公平性与抗后门攻击：SARS框架的学术报告

一、研究团队与发表信息

本研究由Weibin Zhang, Youpeng Li, Lingling An, Bo Wan（西安电子科技大学）和Xuyu Wang（佛罗里达国际大学）合作完成，发表于ACM Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT)期刊2024年12月刊，标题为《SARS: A Personalized Federated Learning Framework Towards Fairness and Robustness Against Backdoor Attacks》。

二、学术背景与目标

科学领域：本研究属于联邦学习（Federated Learning, FL）与机器学习安全交叉领域，聚焦于解决联邦学习中的两大核心问题——后门攻击（Backdoor Attack）的鲁棒性和用户间的公平性（Fairness）。

研究动机：
1. 后门攻击威胁：联邦学习中，恶意用户可通过上传被污染的梯度更新（Poisoned Gradient Updates）植入后门，导致全局模型在特定子任务（如触发后门样本）上表现异常，而主任务性能不受影响。
2. 公平性缺失：现有防御方法（如鲁棒聚合）可能因过滤良性更新或添加噪声导致用户性能差异扩大，破坏系统公平性。
3. 个性化联邦学习（Personalized FL）的局限性：传统个性化方法（如Ditto）虽能提升公平性，但无法有效抵御后门知识从全局模型向个性化模型的迁移。

研究目标：提出SARS（Self-Awareness Revision）框架，通过自适应特征提取与知识映射，实现后门防御与公平性的统一。

三、研究方法与流程

1. 研究框架设计

SARS框架包含两个核心模块：
- 自适应特征提取（Adaptation Feature Extraction）：用户通过自注意力蒸馏（Self-Attention Distillation, SAD）对齐全局与个性化模型的注意力图（Attention Map），过滤后门知识。
- 关键技术：
- 注意力图生成：基于中间层特征（如ResNet的浅层与深层特征）计算统计量（如通道绝对值和、最大值）。
- 自注意力蒸馏：通过归一化与双线性上采样对齐深浅层注意力图，最小化其L2距离（公式9）。
- 知识映射（Knowledge Mapping）：冻结特征提取器，微调线性分类器，确保干净样本特征与标签的正确映射。

2. 实验对象与设置

• 数据集：CIFAR-10、CIFAR-100、EMNIST，按狄利克雷分布（Dirichlet Distribution）划分非独立同分布（Non-IID）数据。
  
• 攻击场景：模型替换攻击（Model-Replacement）、分布式后门攻击（DBA）、边缘案例攻击（Edge-Case）。
  
• 对比基线：FedAvg、WeakDP、FoolsGold、FLAME、Ditto及其变体（如Ditto w/ DP）。
  

3. 实验流程

1. 全局训练阶段：服务器聚合所有用户（含恶意用户）的模型更新，生成潜在含后门的全局模型。
   
2. 个性化训练阶段：
   
   • 自适应特征提取：用户计算个性化模型各层注意力图，通过SAD修正后门知识（算法1，步骤6-14）。
     
   • 知识映射：固定特征提取器参数，仅训练分类器（步骤15）。
     

4. 创新方法

• 自注意力蒸馏：首次将SAD引入联邦学习，通过层间注意力对齐实现后门知识的自修正。
  
• 双阶段训练：分离特征提取与分类器训练，避免后门知识污染。
  

四、主要结果与逻辑链条

1. 抗后门攻击性能

• ASR（攻击成功率）：SARS在三种攻击场景下均显著低于基线（表1）。例如，在CIFAR-10的模型替换攻击中，ASR降至9%（FedAvg为90.5%）。
  
• C-Acc（干净样本准确率）：SARS在防御后门的同时提升准确率（CIFAR-10达84.43%，高于FedAvg的74.04%）。
  

逻辑链条：SAD通过注意力对齐消除后门特征，而知识映射阶段保留全局知识，实现防御与性能的平衡。

2. 公平性验证

• 性能分布方差：SARS的用户间C-Acc方差（CIFAR-10为0.0036）低于FLAME（0.0104），表明更公平的资源分配（图6）。
  
• 边缘用户性能：最差10%用户的平均C-Acc在SARS中显著高于FLAME（如CIFAR-100中43.75% vs. 28.86%）。
  

逻辑链条：个性化模型适配本地数据分布，而SAD避免后门知识导致的性能偏差。

五、结论与价值

科学价值：
1. 理论创新：首次提出兼顾公平性与后门防御的个性化联邦学习框架。
2. 方法突破：自注意力蒸馏为后门防御提供了新思路，可扩展至其他分布式学习场景。

应用价值：
- 隐私保护：无需服务器端过滤更新，符合GDPR等数据隐私法规。
- 边缘计算：适用于移动边缘智能（如活动识别、输入预测）中的异构设备协同训练。

六、研究亮点

1. 双目标统一：同时解决后门防御与公平性这一对矛盾问题。
   
2. 轻量化设计：仅需本地模型调整，无需修改全局聚合协议。
   
3. 泛化性验证：在多种攻击（DBA、Edge-Case）及非IID场景下均表现稳健（图7）。
   

七、其他价值

• 开源代码：研究公开于GitHub（https://github.com/wbzhangslab/sars-main），促进社区复现与改进。
  
• 实验完整性：涵盖3类数据集、4种基线方法及超参数分析（如β对性能的影响，图9），为后续研究提供基准。
  

（报告总字数：约1800字）