这篇文档属于类型a,即报告了一项原创性研究。以下是根据文档内容生成的学术报告:
本研究由Dayong Ye、Tianqing Zhu(通讯作者)、Kun Gao、Congcong Zhu和Wanlei Zhou共同完成。Dayong Ye和Kun Gao来自悉尼科技大学计算机科学学院,而Tianqing Zhu、Congcong Zhu和Wanlei Zhou则隶属于澳门城市大学数据科学研究所。该研究发表于IEEE Transactions on Dependable and Secure Computing期刊,预计将于2025年正式出版。
研究的核心科学领域是联邦学习(Federated Learning, FL),这是一种分布式学习范式,允许多个客户端在保护数据隐私的前提下协同训练全局模型。然而,联邦学习容易受到投毒攻击(Poisoning Attacks)的威胁,恶意客户端通过提交被污染的本地模型更新,可能严重损害全局模型的准确性。现有的防御策略主要关注容忍或移除这些被污染的更新,但无法有效防止恶意客户端持续提交有毒更新。因此,本研究提出了一种基于合作演化(Evolution of Cooperation)的新方法,旨在通过促进系统范围内的合作来防御投毒攻击。
研究分为三个主要步骤,结合了联邦学习的训练过程与合作演化的理论框架。
在这一步中,服务器使用深度强化学习(Deep Reinforcement Learning, DRL)算法策略性地选择客户端参与训练。服务器的状态基于客户端过去提交的本地模型更新的毒性概率,动作则是选择哪些客户端参与训练,奖励则基于全局模型的准确性。通过这种方式,服务器能够减少选择恶意客户端的概率,从而降低其对全局模型的负面影响。
被选中的客户端接收全局模型并进行本地训练。良性客户端使用其本地数据集更新模型,而恶意客户端则根据其与服务器的交互历史决定其提交的更新的毒性水平。本研究引入了一种新的攻击框架,允许恶意客户端在初始阶段提交干净的更新以获取服务器的信任,随后再提交有毒更新。这种策略旨在模拟高级威胁,并适应不同类型的攻击。
服务器接收客户端的本地模型更新,并使用检测器(Detector)评估每个更新的毒性。只有未被标记为有毒的更新才会用于更新全局模型。检测器是一个深度神经网络,其输入为本地模型更新,输出为更新有毒的概率。检测器通过在线监督学习进行训练,其损失函数基于全局模型在根数据集(Root Dataset)上的准确性。
实验结果表明,本研究提出的防御方法在非对抗性环境中表现优异,全局模型准确性比FedAvg提高了约2%。在对抗性环境中,该方法显著提高了对投毒攻击的抵抗力。例如,在FEMNIST数据集上,面对Min-Max攻击,FedAvg的准确性降至10.7%,而本方法的准确性仍保持在70.2%。此外,本研究提出的攻击框架进一步验证了现有防御方法的局限性,表明恶意客户端通过调整更新的毒性水平可以绕过传统防御机制。
本研究的核心贡献在于首次将合作演化理论引入联邦学习防御领域,提出了一种在训练初期通过策略性选择客户端来防御投毒攻击的新方法。该方法不仅能够有效避免恶意客户端的参与,还能激励恶意客户端与服务器合作。此外,本研究还提出了一种新的攻击框架,能够模拟复杂的攻击行为,为未来的防御研究提供了重要的参考。
本研究还探讨了不同数据集(如FEMNIST、CIFAR10和Purchase)和不同数据分布(如IID和非IID)对防御方法性能的影响,验证了方法的鲁棒性。此外,研究还分析了客户端数量和恶意客户端比例对防御效果的影响,为实际应用提供了重要参考。
通过本研究,联邦学习的安全性得到了显著提升,为未来在隐私保护分布式学习中的应用奠定了坚实的基础。