这篇文档属于类型a,即报告了一项原创性研究。以下是对该研究的学术报告:
该研究由Marios Aristodemou、Xiaolan Liu和Sangarapillai Lambotharan共同完成。Marios Aristodemou来自英国拉夫堡大学的机械、电气与制造工程学院,Xiaolan Liu和Sangarapillai Lambotharan则来自拉夫堡大学伦敦校区的数字技术研究所。该研究发表于2024年IEEE国际通信研讨会(ICC Workshops)上。
该研究的主要科学领域为联邦学习(Federated Learning, FL)和对抗性机器学习(Adversarial Machine Learning)。随着元宇宙(Metaverse)的发展,用户生成的大量隐私数据需要通过联邦学习来保护隐私。然而,联邦学习在模型聚合过程中容易受到对抗性投毒攻击(Poisoning Attacks)的威胁,尤其是在个性化联邦学习(Personalized Federated Learning, PFL)中。因此,本研究旨在探讨PFL在面对投毒攻击时的脆弱性,并提出一种基于贝叶斯优化(Bayesian Optimization, BO)的模型投毒攻击方法,以评估PFL的易受攻击性。
该研究分为以下几个主要步骤:
问题定义与系统模型
研究首先定义了联邦学习的基本框架,即多个客户端在中央服务器的协调下,使用本地数据训练本地模型,并通过模型参数聚合来更新全局模型。在对抗性场景中,假设网络中存在恶意用户,其目标是通过修改本地模型的权重,最大化全局模型的分类不确定性,从而影响良性客户端的本地更新。
攻击机制设计
研究提出了一种称为单目标贝叶斯优化联邦学习攻击(Single-Objective Bayesian Optimization-based Attack on FL, SOBO-FL)的方法。该方法通过贝叶斯优化搜索神经网络第一隐藏层的最优权重,以诱导全局模型的分类不确定性。具体来说,攻击者通过优化两个不同的目标函数来修改模型权重:互信息(Mutual Information, MI)和Kullback-Leibler散度(Kullback-Leibler Divergence, KL)。
贝叶斯优化流程
贝叶斯优化的核心包括两个部分:代理模型(Surrogate Model)和采集函数(Acquisition Function)。代理模型用于描述目标函数的假设,而采集函数则用于寻找新的采样点以优化目标函数。研究中使用了蒙特卡洛近似(Monte-Carlo Approximation)的采集函数来优化目标。
实验设置与数据集
研究在经典的图像识别数据集CIFAR10上进行了实验。CIFAR10包含60,000张彩色图像,分为10个类别。研究使用狄利克雷分布(Dirichlet Distribution)对数据进行非独立同分布(Non-IID)划分,以模拟数据异构性。实验中设置了6个客户端,其中2个为恶意用户,并使用了三种联邦学习算法:FedAvg、FedProx和Ditto。
攻击效果评估
研究通过对比无攻击、使用KL散度优化和使用互信息优化的攻击效果,评估了SOBO-FL在不同联邦学习算法中的表现。结果表明,SOBO-FL能够成功诱导全局模型的分类不确定性,特别是在FedProx和Ditto中,互信息优化的攻击效果更为显著。
FedAvg算法下的攻击效果
在FedAvg算法中,SOBO-FL显著提高了全局模型的认知不确定性(Epistemic Uncertainty),表现为互信息和变异性的大幅增加。互信息在攻击场景下是无攻击场景的三倍,而变异性增加了50%。
FedProx和Ditto算法下的攻击效果
在FedProx和Ditto算法中,SOBO-FL也表现出类似的攻击效果。特别是在FedProx中,使用互信息优化的攻击效果优于KL散度优化,而在Ditto中,两种优化方法均能诱导较高的模型不确定性。
个性化联邦学习的脆弱性
研究结果表明,尽管个性化联邦学习在隐私保护方面具有优势,但其在面对模型投毒攻击时仍然表现出较高的脆弱性。特别是在非独立同分布数据环境下,个性化联邦学习的模型聚合过程容易受到恶意用户的攻击。
该研究提出了一种基于贝叶斯优化的对抗性投毒攻击方法,成功评估了个性化联邦学习在面对模型投毒攻击时的脆弱性。研究结果表明,FedProx和Ditto等个性化联邦学习算法在面对SOBO-FL攻击时表现出较高的易受攻击性,特别是在互信息优化的攻击下,全局模型的分类不确定性显著增加。该研究为构建更强大的个性化联邦学习机制提供了重要的理论基础,并为进一步研究多目标优化技术在对抗性攻击中的应用奠定了基础。
新颖的攻击方法
该研究首次将贝叶斯优化应用于个性化联邦学习的模型投毒攻击中,提出了一种新的攻击机制SOBO-FL,并通过实验验证了其有效性。
多目标优化的应用
研究通过优化互信息和KL散度两个不同的目标函数,成功诱导了全局模型的分类不确定性,为多目标优化技术在对抗性机器学习中的应用提供了新的思路。
个性化联邦学习的脆弱性评估
该研究首次系统地评估了个性化联邦学习在面对模型投毒攻击时的脆弱性,揭示了其在隐私保护方面的潜在风险。
该研究还提到,未来的工作将探讨不同个性化机制在面对模型投毒攻击时的脆弱性,并研究多目标优化技术如何进一步增强攻击机制的有效性。此外,研究还强调了在元宇宙中部署联邦学习时,对抗性攻击的防范至关重要,特别是在涉及用户隐私和敏感数据的场景下。
该研究不仅为联邦学习的安全性问题提供了新的视角,也为未来在元宇宙中构建更安全的隐私保护机制提供了重要的参考。