分享自:

针对异构数据分布下数据和模型中毒攻击的鲁棒联邦学习方法

期刊:ECAI 2023DOI:10.3233/faia230257

这篇文档属于类型a,即报告了一项原创性研究。以下是基于文档内容生成的学术报告:


作者及机构
本研究的主要作者包括Ebtisaam Alharbi(兰卡斯特大学和乌姆古拉大学)、Leandro Soriano Marcolino(兰卡斯特大学)、Antonios Gouglidis(兰卡斯特大学)和Qiang Ni(兰卡斯特大学)。研究发表在ECAI 2023会议论文集上,由IOS Press出版,开放获取,遵循Creative Commons Attribution Non-Commercial License 4.0 (CC BY-NC 4.0)协议。

学术背景
研究领域为联邦学习(Federated Learning, FL),这是一种在分布式环境中构建全局模型的协作机器学习框架。尽管联邦学习在隐私保护和数据共享方面具有优势,但其易受数据和模型投毒攻击(Data and Model Poisoning Attacks)的影响,尤其是在数据分布高度异质(Non-IID)的环境中。这些攻击可能导致全局模型的准确性和可靠性严重受损。因此,研究旨在提出一种新的鲁棒联邦学习方法,以应对这些安全挑战。

研究目标
本研究的目标是开发一种名为RFCL(Robust Federated Clustering Learning)的新型鲁棒联邦聚合方法,利用聚类和余弦相似性选择相似的集群模型,从而有效防御数据和模型投毒攻击,特别是在高数据异质性环境中。

研究流程
1. 问题定义
研究考虑典型的联邦学习设置,多个客户端协作训练由中央服务器维护的模型。每轮训练中,客户端基于本地数据和全局模型更新本地模型,并将更新发送给服务器进行聚合。服务器面临的主要挑战是如何区分恶意客户端和良性客户端,尤其是在高维梯度、攻击者比例较高和数据异质性显著的情况下。

  1. RFCL方法设计
    RFCL方法包括以下关键步骤:

    • 聚类:使用PCA(主成分分析)和HDBSCAN(层次密度聚类)对客户端模型进行聚类,生成集群中心模型。
    • 相似性分析:通过余弦相似性选择最相似的集群模型,确保选择高质量的模型。
    • 元学习:对选定的集群模型进行元学习,生成适合特定客户端集群的全局模型。
    • 个性化模型共享:选择性地将更新后的模型发送给与相似集群相关的客户端,以增强安全性。
  2. 实验设计
    研究在MNIST、CIFAR-10和Fashion-MNIST三个公开数据集上评估RFCL方法的有效性,并与现有的六种鲁棒聚合方法进行比较。实验考虑了不同攻击者数量和不同非独立同分布(Non-IID)程度的情景。攻击方法包括内积操纵攻击(IPM)、“A Little is Enough”攻击(ALIE)、符号翻转攻击(SF)、随机噪声攻击(RN)和标签翻转攻击(LF)。

  3. 数据分析
    实验通过计算测试集上的错误率来评估每种聚合方法的性能。研究重复实验五次,取平均值,并计算置信区间(ρ = 0.01)以确保结果的统计显著性。

主要结果
1. MNIST数据集上的表现
- RFCL在IPM、ALIE、SF、RN和LF攻击下均表现出色,特别是在攻击者数量增加时,RFCL仍能保持较低的测试错误率。
- 与Median、CC等方法相比,RFCL在处理高比例攻击者时表现更优。

  1. CIFAR-10数据集上的表现

    • RFCL在IPM和ALIE攻击下显著优于其他方法,特别是在攻击者数量超过客户端总数一半时,RFCL仍能有效隔离攻击者并选择最相似的模型进行聚合。
  2. Fashion-MNIST数据集上的表现

    • RFCL在高度异质数据分布(α = 0.1)下表现良好,表明其聚类和个性化方法能够有效适应极端异质性。
  3. 不同聚类方法的比较

    • 研究还比较了K-means、Agglomerative和HDBSCAN三种聚类方法,发现HDBSCAN在IPM和ALIE攻击下表现最佳。

结论
RFCL提出了一种新颖的鲁棒联邦学习方法,通过聚类、元学习和个性化模型共享,有效应对数据和模型投毒攻击。该方法在高数据异质性和高比例攻击者环境下表现出色,显著提升了联邦学习系统的安全性和性能。

研究价值
1. 科学价值:RFCL为联邦学习领域提供了一种新的鲁棒聚合方法,解决了现有方法在高异质性和高攻击者比例下的局限性。
2. 应用价值:RFCL可应用于需要隐私保护和分布式学习的场景,如医疗、金融和物联网等领域,提升模型的安全性和可靠性。

研究亮点
1. 创新性:RFCL首次将聚类、余弦相似性和元学习结合,提出了一种全新的鲁棒联邦聚合方法。
2. 高效性:实验证明RFCL在处理高比例攻击者和极端异质性数据时表现优异,显著优于现有方法。
3. 灵活性:RFCL支持个性化模型共享,能够根据不同客户端的数据分布调整模型,提升学习效果。

其他有价值的内容
研究还进行了消融实验,评估了PCA在RFCL中的作用,发现尽管PCA对性能有轻微提升,但RFCL在没有PCA的情况下仍能保持一定的鲁棒性。此外,研究提供了RFCL的开源实现,便于其他研究者复现和改进。


以上是基于文档内容生成的详细学术报告。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com