这篇文档属于类型a，是一篇关于隐私增强的个性化联邦学习研究的学术论文，以下是详细的报告内容：
主要作者及研究机构
本研究由Zaobo He、Fuping Zhang、Yusen Li、Yulin Cao和Zhipeng Cai共同完成。Zaobo He、Fuping Zhang和Yusen Li来自暨南大学信息科学与技术学院；Yulin Cao来自青海师范大学计算机学院；Zhipeng Cai则任职于美国乔治亚州立大学计算机科学系。研究于2024年8月1日发表在《IEEE Internet of Things Journal》第11卷第15期上。
学术背景
本研究的科学领域为物联网（IoT）中的联邦学习（Federated Learning，FL）。随着物联网设备的快速发展，大量数据被生成，推动了人工智能在物联网中的应用。然而，物联网数据的异质性（heterogeneity）和设备在计算能力与能源方面的限制，使得在联邦学习中实现每个设备的最优性能和隐私保护成为挑战。本研究旨在提出一种隐私增强的个性化联邦学习方法，通过层间梯度屏蔽（Layer-wise Gradient Shielding, LGS）技术，解决物联网数据异质性和隐私保护问题。
研究流程
研究流程包括以下几个主要步骤：
问题定义与框架设计
- 研究首先定义了物联网数据异质性下的个性化联邦学习问题。每个客户端i拥有私有数据集Di，目标是训练适合每个客户端特定数据分布的个性化模型。
- 提出了FedLGS框架，每个客户端包含共享模型和个性化模型。共享模型用于客户端间的通信，而个性化模型通过本地超网络生成的层间聚合权重进行开发。
模型初始化与超网络设计
- 每个客户端首先初始化共享模型WSi和本地超网络HNi，并将它们上传到服务器。
- 服务器聚合所有客户端的本地超网络，生成全局超网络HNg。全局超网络在每一轮训练开始时被下载到客户端，用于更新本地超网络。
- 本地超网络生成聚合权重矩阵Pi，用于层间聚合共享模型，形成个性化模型WPi。
本地训练与梯度屏蔽
- 在本地训练阶段，客户端使用个性化模型WPi处理数据，并计算本地经验风险。
- 引入了局部梯度屏蔽（Local Gradient Shielding, LGS）算法，通过输入训练数据到个性化模型中，间接更新共享模型，从而隐藏敏感的梯度信息，防止数据重构攻击。
- 超网络参数和嵌入向量在本地训练过程中进行更新。
服务器端全局更新
- 在每一轮训练结束后，客户端将更新的共享模型WSi和本地超网络HNi上传到服务器。
- 服务器端聚合这些更新，生成新的全局超网络和共享模型，供下一轮使用。
实验与评估
- 研究在四个公开的医疗数据集（OrganMNIST_axial、OrganMNIST_sagittal、BloodMNIST和DermaMNIST）上进行了实验。
- 数据集被划分为训练集和测试集，并模拟了两种非独立同分布（non-IID）数据分区策略：病理异质性设置（pathological heterogeneous setting, pat(2)）和Dirichlet异质性设置（dir(0.1)）。
- 实验评估了FedLGS框架在不同数据分布下的表现，并与多种基线方法进行了对比。
主要结果
FedLGS的优越性
- FedLGS在四个数据集上均表现优异，特别是在高异质性场景（如pat(2)）下，性能提升显著。例如，在BloodMNIST数据集上，FedLGS的准确率提高了3.47%。
- 相较于传统联邦学习方法，FedLGS在处理非独立同分布数据时表现更好，尤其是在RGB数据集上，准确率提升超过15%。
聚合权重分析
- FedLGS通过超网络生成的权重矩阵能够有效反映客户端之间的数据相似性。
- 实验表明，分类层的权重通常最高，表明其对数据分布相似性最敏感。此外，所有客户端的自聚合权重在20轮训练后趋于稳定。
客户端数量对性能的影响
- 随着客户端数量的增加，模型性能略有下降，但在病理异质性设置下，性能下降幅度较小（约6%）。在Dirichlet异质性设置下，性能下降更为明显，特别是在DermaMNIST数据集上，准确率下降了9.34%。
近端项的影响
- 在本地损失函数中引入近端项（proximal term）能够有效控制全局与局部目标之间的训练平衡。
- 实验表明，在Dirichlet异质性设置下，近端项的引入带来了更显著的性能提升，特别是在OrganMNIST_sagittal数据集上，准确率提高了1.4%。
研究结论
本研究提出了一种隐私增强的个性化联邦学习框架FedLGS，通过双模型设计和层间梯度屏蔽技术，解决了物联网数据异质性和隐私保护问题。实验结果表明，FedLGS在多类公开数据集上表现优异，特别是在高异质性场景下，显著优于现有基线方法。该研究不仅提升了联邦学习在物联网中的实用性，还为资源受限设备提供了高效的隐私保护解决方案。
研究亮点
隐私保护创新
- 局部梯度屏蔽（LGS）技术有效防止了梯度泄露和数据重构攻击，为客户端数据隐私提供了强有力的保障。
双模型设计
- 共享模型与个性化模型的结合，显著提升了模型性能与收敛速度，特别是在非独立同分布数据场景下。
超网络的应用
- 本地超网络生成的层间聚合权重矩阵，使得模型聚合更加精细，能够更好地适应不同客户端的数据分布。
广泛的实验验证
- 研究在多个公开数据集上进行了全面的实验验证，证明了FedLGS在不同数据异质性场景下的优越性。
通过以上内容，本研究为物联网环境下的联邦学习提供了一种高效且隐私安全的解决方案，具有重要的学术价值和应用前景。