《Enhancing Edge-Assisted Federated Learning with Asynchronous Aggregation and Cluster Pairing》学术报告

一、研究基本信息

这篇文章题为“Enhancing Edge-Assisted Federated Learning with Asynchronous Aggregation and Cluster Pairing”，由Sha X., Sun W., Liu X., Luo Y.和Luo C.共同完成，分别来自中国电子科技大学及其长三角研究院。通讯作者为Wenjian Sun和Chunbo Luo。这项研究发表于期刊《Electronics》，2024年第13卷2135号，并于2024年5月30日正式发表。

二、研究背景

这项研究属于联邦学习（Federated Learning, FL）和边缘计算（Edge Computing）领域，是计算机科学与人工智能领域的前沿问题。随着分布式机器学习的发展，联邦学习因其数据隐私保护和高效模型训练的特性，得到了广泛关注。在FL中，参与者不需要共享其本地数据，而是通过上传模型参数参与协作模型训练。但传统FL框架多为二层架构：客户端-服务器架构，该结构需频繁在客户端与云服务器之间传递大规模模型参数，不稳定的网络环境常导致高通信开销和延迟问题。

为了减缓通信瓶颈，已有研究引入边缘计算，将边缘服务器作为客户端和云服务器之间的中介。在“边缘辅助联邦学习”（Edge-Assisted FL，EAFL）中，边缘服务器聚合本地模型，从而减少云服务器通信的压力。然而，该方法仍面临如下挑战： 1. 系统异构性：客户端计算与通信能力的差异难以有效兼容； 2. 数据异构性：不同客户端的数据分布多为非独立同分布（Non-IID），严重减缓全局模型的收敛速度； 3. 同步带来的低效性：客户端在等待全局模型聚合期间处于闲置状态，浪费了宝贵的计算资源。

为了解决上述问题，本研究提出了一种改进的三层架构“Enhancing Edge-Assisted Federated Learning”（EEFL）框架，以提高全局模型的准确率和收敛速度。

三、研究过程与方法

研究整体包括三个主要创新点：跨层异步聚合策略、基于相似性的边缘-客户端分组策略与融合对比学习的新损失函数设计。以下是详细的工作流程。

1. 三层联邦学习架构设计

该体系结构包括三个层次： - 客户端层：每个客户端以本地数据集进行模型训练。 - 边缘层：作为中介节点，边缘服务器汇总客户端模型。 - 云服务器层：最终汇总来自不同边缘服务器的模型，生成全局模型。

研究设计了一种“边缘-客户端-云”的具体通信与更新步骤： 1. 客户端在本地数据上以一定迭代次数训练模型，并将更新后的模型发送至对应的边缘服务器； 2. 边缘服务器按其覆盖范围内的客户端数据聚合生成子全局模型，若未达到指定轮次，子全局模型会返回客户端；否则，将传输至云服务器； 3. 云服务器汇总来自各边缘服务器的子全局模型生成最终的全局模型，并广播给所有边缘服务器和客户端； 4. 客户端收到全球模型后，进入下一轮训练。

2. 跨层异步聚合机制

研究发现，边缘到云服务器的通信往往延迟更高。为了减少客户端闲置时间并加速收敛，设计了一种跨层异步聚合机制： - 在将边缘层的模型上传至云服务器后，不等待云服务器处理结果，边缘服务器同时将当前子全局模型传回其覆盖范围内的客户端； - 客户端以相关子全局模型为初始参数，继续独立训练以积累更多局部更新； - 云服务器完成全局模型更新后，边缘服务器将合并云服务器与本地子全局模型（通过加权平均法），再发送给客户端。

3. 基于相似性的边缘-客户端分组策略

实现高效异步训练的关键在于分组策略的优化。本研究设计了一种无需获取客户端数据分布的基于模型相似性的分组策略： - 利用奇异值分解（SVD）提取客户端本地模型中某关键层的特征； - 通过余弦相似度计算客户端模型间的相似性，生成相似性矩阵； - 确保每个边缘服务器覆盖的客户端群组中数据分布尽可能多样化（即“边缘-IID”），以全局视角提升模型性能。

4. 改进的模型对比学习损失函数

为进一步缓解非IID数据对全局模型准确率的影响，本研究在局部模型训练中融入个性化联邦学习（Personalized FL）的思想： - 将模型分为共享层（低层）和个性化层（高层）； - 分别最大化本地模型与全局共享模型，以及当前局部模型与历史局部模型的表征相似度； - 历史本地模型表征采用指数移动平均法（EMA）计算； - 新损失函数由三部分组成： 1. 标准交叉熵损失； 2. 共享层的对比损失； 3. 个性化层的对比损失。

四、实验设计与结果

实验设计了20个客户端、4个边缘服务器和1个云服务器的模拟无线网络环境，使用MNIST、CIFAR10和FashionMNIST三个真实世界数据集分别验证算法性能，模型结构与分布策略如下： - 客户端使用非IID数据分布，每个客户端仅包含1-2类样本； - 按照Dirichlet分布（浓度参数β=0.5）生成数据异构性更高的分布。

1. 主要实验结果

结果表明：相较于现有联邦学习方案（FedAvg、FedProx、MOON等）： - 在200轮云通信内，EEFL最高准确率分别提升8%-10%； - 所需通信轮次减少60%-80%，实现2.5×至7.0×的加速效果； - 异步更新比同步模式显著加快全局模型收敛。

2. 相似性分组策略效果

与“随机分组”和“HIFLASH”分组比较： - EEFL的相似性分组最高提升5%的准确率； - 确保每个边缘覆盖数据更全面，更有助于全局模型学习更多特征。

3. 改进损失函数的效果

通过对比使用不同损失设计，证明： - 同时利用共享层和个性化层的对比损失，准确率比单一方式高出2%-5%。

五、研究结论与意义

本研究提出的EEFL框架针对非IID数据分布及传统联邦学习通信延迟的问题提供了有效解决方案，使全局模型的收敛速度和准确率显著提升。同时，通过优化分组策略和改进损失函数，EEFL实现了对数据分布多样性和个性化特征的兼顾。这一方法在医疗、物联网和金融服务领域的分布式隐私保护计算中具有广泛潜力。

六、研究亮点

• 提出跨层异步更新策略，将客户端闲置时间转化为计算资源；
• 基于奇异值分解的非监督分组方法，无需使用原始数据分布；
• 改进联邦对比学习损失函数，兼顾个性化与通用化。

作为强化边缘辅助联邦学习的重要研究，这项工作为未来无线网络中的高效分布式学习提供了新视角和强实用性设计。