分享自:

隐私保护异构联邦学习中的抗中毒攻击

期刊:ieee transactions on information forensics and securityDOI:10.1109/tifs.2023.3315125

这篇文档属于类型a,即报告了一项原创性研究。以下是基于文档内容的学术报告:

作者与期刊信息

本文的主要作者包括Xiao Chen、Haining Yu、Xiaohua Jia(IEEE Fellow)和Xiangzhan Yu,他们分别来自哈尔滨工业大学和香港城市大学。该研究发表在2023年的《IEEE Transactions on Information Forensics and Security》期刊上,具体卷号为第18卷,页码为5749-5761。

学术背景

该研究的主要科学领域是联邦学习(Federated Learning, FL),特别是隐私保护下的异构联邦学习中的抗毒化攻击(Anti-Poisoning Attacks)。联邦学习是一种分布式机器学习范式,旨在通过加密技术保护数据隐私,避免数据泄露。然而,联邦学习在分布式环境中面临毒化攻击的威胁,攻击者可能通过操纵多个边缘节点提交恶意梯度,从而破坏全局模型的可用性。现有的大多数研究主要基于独立同分布(IID)数据场景,并通过明文识别恶意梯度,但这种方法无法有效应对数据异构性(Non-IID)的挑战,且明文梯度发布会带来显著的隐私泄露问题。因此,本研究提出了APFed(Anti-Poisoning Federated Learning)框架,旨在在数据异构场景下显著减轻毒化攻击的影响。

研究流程

APFed框架的研究流程主要包括以下几个步骤:

  1. 系统初始化:研究首先通过一个可信的密钥生成中心(Key Generation Center, KGC)生成公私钥对,用于加密和解密操作。中央服务器(Central Server, PS)初始化全局模型参数,并将其发送给边缘节点(Edge Nodes)。

  2. 集群安全训练(Clustered Secure Training, CST)

    • 集群训练阶段:通过聚类联邦学习(Clustered Federated Learning, CFL)将边缘节点划分为多个集群,每个集群内的节点具有相似的数据分布。CFL通过计算梯度更新之间的余弦相似度来区分节点,并将其递归地划分为子集群,直到满足停止条件。
    • 隐私保护防御阶段:在每个训练迭代中,边缘节点使用随机梯度下降(SGD)算法训练本地梯度,并将加密后的梯度提交给集群的领导者节点(Leader Node, LN)。LN通过计算加密梯度的中位数作为基准,并使用安全的余弦相似度(Secure Cosine Similarity, SCOS)算法识别毒化梯度。SCOS算法通过添加随机噪声来保护梯度隐私,并在不解密的情况下计算相似度。
  3. 集群鲁棒聚合(Clustered Robust Aggregation, CRA):在更复杂的攻击场景中,攻击者可能通过操纵领导者节点干扰集群的训练过程。为此,PS通过计算每个集群更新与上一轮全局模型之间的余弦相似度,设置每个更新的危害性(Harmfulness),并根据危害性进行全局聚合。危害性较高的更新在聚合中的权重较低,从而减少其对全局模型的破坏。

主要结果

研究在MNIST和CIFAR-10两个基准数据集上进行了广泛的实验评估,结果表明APFed在IID和非IID场景下均表现出色,能够有效防御毒化攻击,同时显著降低了通信开销。具体结果如下:

  1. 在非IID数据场景下的性能:APFed在100个边缘节点的非IID场景中表现出显著的准确性提升,并且在不同超参数设置下保持了较高的稳定性。与现有的防御策略(如中位数聚合、修剪均值聚合和聚类)相比,APFed在攻击率为30%时,准确性始终超过90%。

  2. 在攻击率变化下的性能:随着攻击率的增加,APFed的准确性下降幅度较小。在攻击率达到50%的理论上限时,APFed的准确性仍然超过88%,显著优于其他防御策略。

  3. 通信开销分析:APFed通过将边缘节点与中央服务器之间的昂贵通信替换为集群内部的低成本通信,显著降低了系统的通信开销。实验表明,APFed在达到相同准确性时所需的通信预算远低于其他方案。

结论

APFed框架通过分层隐私保护防御机制,在数据异构场景下有效防御了联邦学习中的毒化攻击。该框架利用同态加密(Homomorphic Encryption, HE)和余弦相似度等安全技术,显著提高了系统的鲁棒性和隐私保护能力。此外,APFed通过减少通信开销,为大规模分布式场景下的联邦学习提供了可行的解决方案。

研究亮点

  1. 创新性防御架构:APFed首次将聚类联邦学习引入隐私保护防御策略,有效应对了数据异构性带来的挑战。
  2. 高效的安全性:通过同态加密和安全的余弦相似度算法,APFed在不泄露隐私的情况下实现了毒化梯度的识别。
  3. 低通信开销:APFed通过集群内部的低成本通信,显著降低了系统的通信开销,适合大规模分布式场景。

其他有价值的内容

研究还详细分析了APFed在资源受限场景下的性能,结果表明APFed在通信预算有限的情况下仍能保持较高的准确性。此外,研究还探讨了恶意领导者节点对防御性能的影响,发现当恶意领导者节点比例超过30%时,系统的准确性会显著下降。

APFed框架为联邦学习中的毒化攻击防御提供了新的思路,并在隐私保护和通信效率方面取得了显著进展。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com