分享自:

基于原型的联邦全局对抗训练对抗攻击

期刊:Proceedings of the 2024 27th International Conference on Computer Supported Cooperative Work in Design

这篇文档属于类型a,即报告了一项原创研究的学术论文。以下是针对该研究的详细学术报告:


作者及研究机构

本文的主要作者为Zirong Xu、Weimin Lai和Qiao Yan,均来自深圳大学计算机与软件学院。论文发表于2024年的第27届国际计算机支持协同设计会议(27th International Conference on Computer Supported Cooperative Work in Design, CSCWD),并收录于IEEE的会议论文集中。

学术背景

本研究的主要科学领域为联邦学习(Federated Learning, FL),这是一种创新的分布式机器学习范式,旨在解决数据孤岛和用户数据隐私泄露等关键问题。然而,联邦学习面临的一个重要挑战是对抗攻击(Adversarial Attacks)。近年来,研究者尝试通过本地对抗训练(Local Adversarial Training)和模型蒸馏(Model Distillation)等技术来缓解这一问题,但这些方法在现实场景中易受数据异质性的影响,导致对抗鲁棒性(Adversarial Robustness)的下降。

本研究的背景知识包括:
1. 联邦学习:一种分布式机器学习方法,允许多个实体在不共享原始数据的情况下协同训练模型,从而保护数据隐私。
2. 对抗攻击:通过在输入数据中引入微小但精心设计的扰动,误导模型产生错误预测的攻击方式。
3. 对抗训练:一种防御策略,通过使用对抗样本训练模型,提升其对抗攻击的鲁棒性。

本研究的目标是提出一种新的方法,FedPGT,通过聚类技术评估模型收敛性,并利用基于原型的方法指导高质量的对抗训练,从而缓解联邦学习中的数据异质性问题,并增强模型的对抗鲁棒性。

研究流程

本研究包括以下几个主要步骤:

  1. 问题定义与目标设定
    研究首先明确了联邦学习在对抗攻击下的脆弱性,并提出了通过全局对抗训练提升模型鲁棒性的目标。

  2. FedPGT方法设计
    FedPGT的核心思想是将对抗训练的过程转移到联邦学习服务器端,利用客户端的代表性样本来提升整体鲁棒性。具体包括:

    • 收敛性评估:使用DBSCAN聚类算法评估模型参数的收敛性,确保在模型接近全局最优时再进行对抗训练。
    • 原型选择:通过计算客户端本地数据的原型(Prototype),选择最具代表性的样本上传至服务器,用于生成对抗样本。
  3. 实验设计与数据集选择
    研究在三个数据集(MNIST、Fashion-MNIST和EMNIST-Digits)上进行了实验,比较了FedPGT与四种现有的联邦学习方法(FedAvg、FedProx、SCAFFOLD和MOON)的性能。实验设置包括:

    • 使用100个客户端,每个客户端的数据独立同分布(i.i.d.)。
    • 每轮随机选择50%的客户端参与训练。
    • 使用简单的CNN架构进行模型训练。
  4. 对抗攻击设置
    实验考虑了三种对抗攻击场景:

    • 无攻击(None):用于测量模型在原始数据上的标准准确率。
    • FGSM攻击:一种单步梯度上升攻击方法。
    • PGD攻击:一种多步迭代的FGSM攻击,被认为是最强的一阶对抗攻击。
  5. 实验结果与分析
    研究通过标准准确率(SA)和对抗鲁棒性准确率(RA)评估了各方法的性能,并进行了收敛性实验和样本选择实验。

主要结果

  1. 性能实验
    在三个数据集上,FedPGT在对抗鲁棒性准确率上均表现最佳,且标准准确率的下降幅度最小。例如,在MNIST数据集上,FedPGT的对抗鲁棒性准确率提高了约10%-15%。

  2. 收敛性实验
    FedPGT通过收敛性评估,确保了对抗训练在模型接近全局最优时进行,从而避免了早期对抗训练对模型收敛的干扰。

  3. 样本选择实验
    与随机选择样本相比,基于原型选择的样本上传方法显著提升了模型的对抗鲁棒性。例如,在MNIST数据集上,原型选择方法的对抗鲁棒性准确率达到了61.12%,显著高于随机选择方法的58.76%。

  4. 非独立同分布实验
    在非独立同分布(non-iid)场景下,FedPGT的性能依然优于其他方法,表明其对数据异质性具有较强的鲁棒性。

结论

本研究提出的FedPGT方法通过收敛性评估和原型选择,显著提升了联邦学习模型的对抗鲁棒性,同时减少了标准准确率的损失。其科学价值在于为联邦学习中的对抗防御提供了一种新的全局优化思路,应用价值则体现在其在医疗图像分析、推荐系统等领域的潜在应用。

研究亮点

  1. 创新性方法:FedPGT是首个将对抗训练过程转移到联邦学习服务器端的方法,通过聚类和原型选择解决了数据异质性问题。
  2. 实验验证:在多个数据集和不同攻击场景下,FedPGT均表现出色,验证了其有效性和鲁棒性。
  3. 实用性强:FedPGT在计算复杂度和通信复杂度上与传统联邦学习方法相当,适合实际应用。

其他有价值的内容

研究还指出,FedPGT在非独立同分布场景下的表现尤为突出,为联邦学习在现实中的应用提供了重要参考。未来,作者计划探索加密技术以进一步增强数据隐私保护,并研究轻量化的对抗训练方法以进一步提升模型的性能和鲁棒性。


以上是对该研究的全面报告,涵盖了研究背景、方法、实验、结果和结论等内容,为其他研究者提供了详细的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com