本文档属于类型a,是一篇关于联邦学习(Federated Learning, FL)中数据投毒攻击(Data Poisoning Attack)的原创研究论文。以下是对该研究的详细介绍:
本研究由Harsh Kasyap和Somanath Tripathy共同完成,两位作者均来自印度理工学院帕特纳分校(Indian Institute of Technology Patna)的计算机科学与工程系。该研究发表于《Expert Systems with Applications》期刊,2024年第235卷,文章编号为121192。
联邦学习是一种隐私保护的分布式机器学习方法,允许多个参与方在不共享数据的情况下协作训练模型。然而,联邦学习也容易受到数据投毒攻击,因为这些攻击者可以操纵本地数据或模型更新,从而影响全局模型的性能。现有的投毒攻击方法通常需要白盒访问模型或复杂的优化过程,计算成本较高,且在资源受限的设备上难以实现。因此,本研究提出了一种基于超维计算(Hyperdimensional Computing, HDC)的新型数据投毒攻击方法,称为超维数据投毒攻击(Hyperdimensional Data Poisoning Attack, HDPA)。该方法通过将输入样本投影到高维空间并进行扰动,生成具有隐蔽后门或噪声的对抗样本,从而在不显著影响全局模型准确性的情况下实现目标类别的误分类。
本研究的主要流程包括以下几个步骤:
对抗样本生成:
研究提出了一种基于超维计算的对抗样本生成方法。首先,将输入样本投影到高维空间,并通过绑定(Binding)和捆绑(Bundling)操作生成目标类别的超维向量。然后,利用余弦相似度操作在源类别和目标类别的超维向量之间生成对抗样本。这些样本保留了原始样本的语义特征,但引入了微小的扰动,使其在视觉上难以察觉。最后,通过解码操作将超维向量转换回图像,生成对抗样本。
超维数据投毒攻击(HDPA):
在联邦学习框架中,攻击者利用生成的对抗样本进行数据投毒攻击。攻击者首先在本地生成对抗样本,并将其添加到训练数据集中。然后,攻击者训练本地模型并将其更新发送到中央服务器。由于对抗样本的扰动微小,本地模型更新与正常模型更新在统计上相似,因此难以被现有的防御机制检测到。攻击者通过这种方式实现了目标类别的误分类,同时保持了全局模型的准确性。
超维置信度度量(HDBC):
研究还提出了一种基于超维的置信度度量方法,用于评估模型的置信度。该方法通过生成对抗样本并测试模型的分类准确性,计算模型的置信度。与现有方法不同,HDBC不需要访问训练模型或进行额外的校准,仅需少量训练样本即可完成评估。
实验与评估:
研究在三个公开数据集(MNIST、Fashion-MNIST和CIFAR-10)上进行了实验,评估了HDPA的有效性。实验结果表明,HDPA在攻击成功率和误分类率方面显著优于现有的投毒攻击方法。此外,研究还评估了HDPA在非独立同分布(Non-IID)设置下的性能,结果表明HDPA在不同数据分布下均表现出较强的攻击效果。
对抗样本生成:
研究成功生成了大量对抗样本,并在Fashion-MNIST数据集上验证了其有效性。实验表明,生成的对抗样本中有60%-70%被模型误分类为目标类别,且生成的样本在视觉上与原始样本相似。
超维数据投毒攻击(HDPA):
在联邦学习框架中,HDPA实现了较高的攻击成功率和误分类率。在MNIST数据集上,HDPA的攻击成功率比现有方法提高了5-10倍。在CIFAR-10数据集上,HDPA的攻击成功率比现有方法提高了20%-40%。
超维置信度度量(HDBC):
HDBC在评估模型置信度方面表现出色,能够有效识别模型的弱点。实验表明,HDBC在对抗样本生成过程中具有较高的准确性,且不需要额外的校准。
本研究提出了一种基于超维计算的新型数据投毒攻击方法(HDPA),并成功在联邦学习框架中实现了目标类别的误分类。与现有方法相比,HDPA具有更高的攻击效果和更强的隐蔽性。此外,研究提出的超维置信度度量(HDBC)为模型置信度评估提供了一种新的方法。本研究的成果在联邦学习的安全性研究领域具有重要的学术价值,同时也为实际应用中的隐私保护提供了新的思路。
新型攻击方法:
本研究首次将超维计算应用于数据投毒攻击,提出了一种高效且隐蔽的攻击方法(HDPA)。
高攻击效果:
HDPA在多个数据集上均表现出较高的攻击成功率和误分类率,显著优于现有方法。
无需模型访问:
与现有方法不同,HDPA不需要访问训练模型或进行复杂的优化,适用于资源受限的设备。
新型置信度度量:
研究提出的HDBC方法为模型置信度评估提供了一种新的思路,具有较高的实用价值。
本研究还探讨了HDPA在非独立同分布(Non-IID)设置下的性能,结果表明HDPA在不同数据分布下均表现出较强的攻击效果。这一发现为联邦学习在异构数据环境下的安全性研究提供了新的视角。