分享自:

优化联邦学习中的模型投毒攻击与防御

期刊:network and distributed systems security (ndss) symposium 2021DOI:10.14722/ndss.2021.23xxx

这篇文档属于类型a,即报告了一项原创性研究。以下是对该研究的学术报告:


作者及研究机构
本研究的主要作者是Virat Shejwalkar和Amir Houmansadr,均来自美国马萨诸塞大学阿默斯特分校(University of Massachusetts Amherst)。该研究发表于2021年2月21日至24日举办的网络与分布式系统安全研讨会(Network and Distributed Systems Security Symposium, NDSS)上。

学术背景
本研究的主要科学领域是联邦学习(Federated Learning, FL)中的模型中毒攻击与防御。联邦学习是一种新兴的机器学习范式,允许多个数据所有者(如移动设备)在不共享私有训练数据的情况下共同训练一个联合模型。然而,联邦学习容易受到恶意参与者的模型中毒攻击,这些攻击者通过在联邦训练过程中发送恶意输入来破坏联合模型的准确性。尽管已有一些针对拜占庭鲁棒性(Byzantine-robust)的联邦学习算法被提出,但本研究揭示这些算法对模型中毒攻击的脆弱性远超预期。因此,本研究旨在提出一种通用的模型中毒攻击框架,并设计一种新的防御机制,以优化联邦学习中的攻击与防御策略。

研究流程
本研究分为两个主要部分:模型中毒攻击框架的设计与防御机制的开发。

  1. 模型中毒攻击框架

    • 威胁模型分类:研究首先对模型中毒攻击的威胁模型进行分类,主要基于攻击者的知识维度,包括对良性客户端更新的了解程度以及服务器聚合算法(Aggregation Algorithm, Agr)的了解程度。
    • 攻击优化框架:研究提出了一种通用的优化框架,用于在不同联邦学习设置下发起最优的模型中毒攻击。攻击的核心思想是通过已知的良性更新计算一个参考聚合值,然后在该方向上引入恶意扰动,以最大化对全局模型的破坏,同时规避鲁棒聚合算法的检测。
    • 攻击算法:研究设计了两种攻击算法:针对已知聚合算法的“Agr-tailored attacks”和针对未知聚合算法的“Agr-agnostic attacks”。前者通过优化扰动向量的系数来最大化攻击效果,后者则通过约束恶意更新的搜索范围来规避检测。
    • 实验验证:研究在四个基准分类数据集(CIFAR10、MNIST、Purchase、FEMNIST)上对攻击算法进行了广泛评估,结果表明,所提出的攻击算法在模型准确性降低方面显著优于现有最先进的攻击算法(如Fang和Lie)。
  2. 防御机制设计

    • Divide-and-Conquer (DNC) 算法:研究提出了一种新的鲁棒聚合算法,称为“分而治之”(Divide-and-Conquer, DNC)。该算法基于谱分析(Spectral Analysis)方法,通过降维和奇异值分解(Singular Value Decomposition, SVD)来检测和过滤恶意更新。
    • 理论保证:DNC算法在良性更新独立同分布(iid)的条件下,提供了强理论鲁棒性保证,能够有效移除恶意更新。
    • 实验验证:研究在多个数据集上对DNC算法进行了评估,结果表明,DNC在抵御模型中毒攻击方面显著优于现有的鲁棒聚合算法。

主要结果
1. 攻击框架的有效性:所提出的攻击框架在多个数据集和模型架构上均表现出显著的攻击效果。例如,在CIFAR10数据集上,所提出的攻击算法比现有最先进的攻击算法(如Fang和Lie)在模型准确性降低方面高出1.5倍至60倍。
2. 防御机制的有效性:DNC算法在多个数据集上均表现出优越的防御效果。例如,在CIFAR10数据集上,DNC将模型中毒攻击对全局模型准确性的最大降低从36.8%减少到6.1%。

结论
本研究揭示了现有拜占庭鲁棒联邦学习算法对模型中毒攻击的脆弱性,并提出了一种通用的攻击框架和一种新的防御机制。所提出的攻击框架显著优于现有最先进的攻击算法,而DNC防御机制则在抵御模型中毒攻击方面表现出显著的优越性。这些成果不仅为联邦学习的安全性提供了新的理论支持,也为实际应用中的防御策略提供了重要指导。

研究亮点
1. 攻击框架的通用性:所提出的攻击框架适用于多种联邦学习设置,并且能够针对不同的聚合算法进行优化。
2. 防御机制的理论保证:DNC算法在独立同分布条件下提供了强理论鲁棒性保证,能够有效移除恶意更新。
3. 实验验证的广泛性:研究在多个基准数据集上对攻击和防御机制进行了广泛验证,结果具有高度可信性。

其他有价值的内容
研究还探讨了数据分布的非独立同分布(non-iid)程度、恶意客户端比例以及跨设备联邦学习设置对攻击效果的影响,进一步验证了所提出攻击框架的鲁棒性和适应性。


通过以上报告,我们可以全面了解这项研究的主要内容、方法、结果及其在联邦学习安全领域的重要贡献。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com