联邦分类器平均（FedClassAvg）：异构神经网络个性化联邦学习的本地表征学习

作者及机构
本研究的作者包括Jaehee Jang、Heonseok Ha、Dahuin Jung和通讯作者Sungroh Yoon，均来自韩国首尔国立大学（Seoul National University）电气与计算机工程系。该研究发表于2022年8月29日至9月1日在法国波尔多举行的第51届国际并行处理会议（ICPP ‘22），并收录于ACM会议论文集。

学术背景
联邦学习（Federated Learning）是一种隐私保护的协作机器学习技术，允许多个客户端在不共享原始数据的情况下协同训练模型。然而，传统联邦学习算法（如FedAvg）假设客户端数据独立同分布（i.i.d.），且模型架构一致，而实际场景中客户端数据通常是非独立同分布（non-i.i.d.）的，且可能因资源限制选择不同的模型架构。个性化联邦学习（Personalized Federated Learning）旨在解决这一问题，但现有方法多依赖辅助数据或复杂的知识迁移（Knowledge Transfer），存在隐私泄露、计算开销大或通信效率低等缺陷。

本研究提出FedClassAvg，一种针对异构模型的个性化联邦学习框架，通过分类器权重聚合（Classifier Averaging）和本地表征学习（Local Representation Learning），实现高效协作训练，无需额外数据或复杂计算。

研究流程与方法
1. 问题建模
- 目标：在异构模型（如ResNet-18、ShuffleNetV2等）和非i.i.d.数据分布下，最小化客户端本地损失函数（公式2）。
- 核心思想：将深度神经网络分解为特征提取器（Feature Extractor）和分类器（Classifier），通过聚合分类器权重统一决策边界，同时利用对比损失（Contrastive Loss）稳定特征空间表示。

1. FedClassAvg算法流程

   • 分类器聚合（Algorithm 1）：
     
     1. 客户端将本地分类器权重上传至服务器；
        
     2. 服务器按数据量加权平均生成全局分类器（公式3）；
        
     3. 全局分类器分发给客户端，替换本地分类器。
        *创新点*：仅传输分类器（约2KB/轮），通信效率远高于传统模型共享方法（如FedAvg需43.73MB/轮）。
        
   • 本地模型更新：
     
     • 监督对比损失（Supervised Contrastive Loss）：拉近同类特征距离，推开异类特征，防止决策边界漂移。
       
     • 近端正则化（Proximal Regularization）：约束本地分类器与全局分类器的L2距离（公式5），提升协作稳定性。
       

2. 实验设计

   • 数据集：CIFAR-10、Fashion-MNIST和EMNIST，模拟两种非i.i.d.分布（Dirichlet分布和偏斜分布）。
     
   • 模型异构性：客户端分配不同架构模型（ResNet-18、ShuffleNetV2等），特征提取器输出统一为512维。
     
   • 对比方法：与基线（纯本地训练）、KT-PFL（知识迁移）和FedProto（原型学习）对比。
     

主要结果
1. 异构模型性能（表2）：
- FedClassAvg在CIFAR-10（Dirichlet分布）上平均准确率达76.7%，显著高于KT-PFL（62.28%）和FedProto（47.42%）。
- 在EMNIST（偏斜分布）中达到99.57%准确率，优于KT-PFL（99.21%），且标准差更低（0.004 vs 0.0076），表明稳定性更强。
2. 同构模型场景（表3）：
- 当客户端共享全部权重时，FedClassAvg在CIFAR-10上准确率85.46%，超越FedAvg（77.29%）和FedProx（81.23%）。
3. 特征空间分析（图8）：
- t-SNE可视化显示，FedClassAvg使不同客户端的同类特征紧密聚集，而基线模型特征分布杂乱，验证了协作学习的有效性。

结论与价值
1. 科学价值：
- 提出首个通过分类器聚合解决模型异构性的联邦学习方法，无需辅助数据或复杂知识迁移。
- 理论证明统一分类器可协调异构特征提取器，为联邦学习的可扩展性提供新思路。
2. 应用价值：
- 适用于医疗、金融等隐私敏感领域，支持边缘设备（如手机、IoT设备）灵活选择模型架构。
3. 局限性：要求客户端分类器结构一致，未来可结合知识迁移进一步扩展。

研究亮点
1. 通信高效性：仅传输分类器权重（2KB/轮），较KT-PFL（8.9MB）和FedAvg（43.73MB）显著降低带宽需求。
2. 计算轻量化：无需额外优化问题（如知识迁移），客户端仅需常规训练开销。
3. 表征学习创新：结合监督对比损失与近端正则化，有效解决异构模型协作中的特征漂移问题。

其他发现
- 消融实验（表4）显示，对比损失和近端正则化共同提升准确率（如CIFAR-10上从61.5%提升至76.7%）。
- 层传导分析（图9）表明，不同客户端对分类器单元的重视程度相似，间接验证了特征空间对齐的有效性。

本研究为异构联邦学习提供了高效、隐私安全的解决方案，代码已开源（https://github.com/hukla/fedclassavg）。