本文档属于类型a，即报告了一项原创研究。以下是针对该研究的学术报告：
研究作者及机构
本研究的作者包括Yusef Ahmed、Marom Sverdlov和Nirvana Meratnia，均来自荷兰埃因霍温理工学院的Interconnected Resource-Aware Intelligent Systems (IRAIS)实验室。该研究发表于2024年的第4届智能网络安全会议（Intelligent Cybersecurity Conference, ICSC）。
学术背景
随着人工智能（AI）的普及，使用大量数据已成为常见做法。然而，这些数据通常包含敏感的个人信息，一旦泄露可能被滥用。联邦学习（Federated Learning, FL）是一种解决AI数据隐私问题的技术，它通过去中心化的方式在本地训练模型，从而保护数据隐私。然而，去中心化的训练模式也带来了新的安全挑战，例如投毒攻击（Poisoning Attacks）。投毒攻击利用服务器无法控制用户数据质量的漏洞，允许恶意用户故意操纵数据。尽管过去已有一些研究对联邦学习中的投毒攻击进行了基准测试，但尚未有研究探讨不同数据分区方式（即垂直分区和水平分区）在投毒攻击中的作用。因此，本研究旨在填补这一空白，提出了一种名为“Poison Playground”的基准测试框架，用于评估垂直和水平数据分区方法在各种投毒攻击和防御机制下的表现。
研究目标
本研究的主要目标是开发一个统一的、可扩展的基准测试框架，帮助研究人员评估不同数据分区方法在投毒攻击和防御机制下的表现。具体目标包括：
1. 提出一个模块化的框架，支持研究人员快速测试和扩展新的攻击和防御机制。
2. 通过实验分析不同数据分区方法在投毒攻击和防御机制下的行为差异。
3. 为联邦学习的实际应用提供更安全的设计建议。
研究流程
1. 框架设计：Poison Playground框架分为前端和后端。前端通过图形用户界面（GUI）接收用户输入的参数，包括数据分区类型、攻击和防御机制的选择等。后端使用TensorFlow加载MNIST数据集，并根据用户参数进行数据分区。
2. 数据分区：
- 水平分区（Horizontal Partitioning）：每个客户端拥有部分全局观测数据，且所有客户端的数据特征相同。
- 水平IID分区（Horizontal IID Partitioning）：每个客户端的数据独立且同分布，且每个类别的数据量相等。
- 垂直分区（Vertical Partitioning）：所有客户端共享相同的数据，但每个客户端拥有不同的特征。
3. 攻击和防御机制：
- 标签翻转攻击（Label Flipping Attack, LFA）：恶意客户端将特定类别的标签更改为目标标签。
- 模型投毒攻击（Model Poisoning Attack, MPA）：恶意客户端通过修改模型权重使其偏离全局模型的收敛点。
- Fool’s Gold防御（Fool’s Gold Defense, FGD）：通过余弦相似度检测并抑制恶意客户端的模型更新。
- 二范数防御（Two Norm Defense, TND）：通过限制模型更新的二范数来减少恶意客户端的影响。
4. 实验设置：研究使用MNIST数据集进行实验，设置不同的客户端数量、训练轮次和批量大小，比较不同数据分区方法在正常、受攻击和防御条件下的表现。
5. 结果分析：通过混淆矩阵、准确率和召回率等指标评估攻击和防御机制的效果，并将结果导出为CSV文件供进一步分析。
主要结果
1. 数据分区的影响：随着客户端数量的增加，水平分区的准确率和召回率显著下降，而垂直分区保持稳定。水平IID分区的表现略优于普通水平分区。
2. 攻击的影响：
- 标签翻转攻击对所有数据分区方法均有显著影响，但水平分区的准确率和召回率下降更为严重。
- 模型投毒攻击对水平分区的影响最大，导致随机分类现象增加，而垂直分区仍能保持较高的分类准确率。
3. 防御机制的效果：
- Fool’s Gold防御对标签翻转攻击的效果显著，尤其是在水平分区中，准确率和召回率均有所提升。
- 二范数防御对模型投毒攻击的效果显著，能够将水平分区的准确率和召回率恢复到接近未受攻击的水平。
结论
本研究通过Poison Playground框架，首次系统地评估了不同数据分区方法在联邦学习投毒攻击和防御机制下的表现。研究结果表明，垂直分区在投毒攻击下表现更为稳健，而水平分区则更容易受到攻击。此外，Fool’s Gold防御和二范数防御在不同分区方法中表现出不同的效果，为联邦学习的安全设计提供了重要参考。该框架的模块化设计使其易于扩展，为未来的研究提供了灵活的工具。
研究亮点
1. 提出了首个针对垂直和水平分区的联邦学习投毒攻击基准测试框架。
2. 通过实验揭示了不同数据分区方法在投毒攻击和防御机制下的行为差异。
3. 模块化设计使得框架易于扩展，支持未来研究添加新的攻击和防御机制。
4. 为联邦学习的实际应用提供了重要的安全设计建议。
未来工作
未来的研究方向包括：
1. 添加更多数据集，例如波士顿房价数据集和ImageNet，以扩展框架的适用性。
2. 支持同时运行多种攻击和防御机制，以研究它们之间的相互作用。
3. 探索不同的聚合策略，以进一步优化联邦学习的性能和安全性。
通过本研究，研究人员可以更好地理解联邦学习在不同数据分区方法下的安全性，并为实际应用中的安全设计提供科学依据。