类型a：

联邦学习中通信成本优化的多目标进化算法研究

作者与发表信息

本研究由José Ángel Morell（西班牙马拉加大学ITIS软件研究所）、Zakaria Abdelmoiz Dahi（法国里尔大学CRISTAL实验室）、Francisco Chicano、Gabriel Luque和Enrique Alba（均来自西班牙马拉加大学）合作完成，发表于期刊《Future Generation Computer Systems》2024年第155卷。

学术背景

研究领域与动因
该研究聚焦于联邦学习（Federated Learning, FL）中的通信成本问题。联邦学习是一种分布式机器学习范式，通过在边缘设备（如智能手机、物联网设备）上本地训练模型并仅共享参数（而非原始数据）来保护隐私。然而，大规模模型参数的频繁传输导致高昂的通信开销和环境负担。现有研究多孤立地优化通信影响因素（如量化、稀疏化、参与设备数量），且常忽略设备异构性（如计算速度差异），导致实际应用受限。

科学问题
如何在设备异构的现实场景中，联合优化通信成本与模型精度？本研究提出将通信减少问题（Communication Reduction Problem, CRP）建模为多目标优化问题，并设计进化算法求解。

研究方法与流程

1. 问题建模

目标函数：
- 最小化通信量（公式1）：量化总接收（R）与发送（H）数据量，归一化为[0,1]。
- 最大化模型精度（公式2）：通过测试集准确率（ACC）评估。
优化变量：
- 通信相关参数：参与设备数（m）、本地步数（E）、量化位数（q_i）、稀疏化比例（y_i）。
- 训练相关参数：批次大小（b）、学习率（η）、聚合策略（φ、ℴ）、梯度/权重传输选择（g）。
约束条件：设备异构性（4种计算速度：2.0、1.0、0.75、0.5）、数据集划分（MNIST/Fashion-MNIST，均分给4设备）。

2. 算法设计（FL-Opt）

框架：NSGA-II多目标进化算法 + 估计算法分布（EDA）强化算子（UMDA）。
- 初始化：随机生成种群，个体编码包含所有优化变量（图5）。
- 进化操作：
- 选择：基于拥挤距离的二元锦标赛。
- 交叉：均匀交叉（概率90%）。
- 变异：均匀变异（概率1/d，d为变量维度）。
- 强化策略：对高精度解使用EDA生成子代，加速局部收敛（图9）。
- 替换机制：非支配排序与拥挤距离保持多样性。

3. 实验设置

模型与数据：
- 全连接网络（FC）：33,400权重，4层。
- 卷积网络（CNN）：887,530权重，12层。
- 数据集：MNIST（手写数字）和Fashion-MNIST（服装图像），各70,000样本。
对比基准：
- 全通信配置（100%通信）、50%通信配置、传统NSGA-II。

4. 评估指标

• 伪最优Pareto前沿：合并30次实验的非支配解。
  
• 超体积（Hypervolume）：衡量解集的收敛性与多样性。
  
• 参数相关性分析：Spearman相关系数（图12-16）。
  

主要结果

1. 通信与精度优化

• 通信减少：相比全通信配置，FL-Opt在多数情况下减少通信量约1,000倍，部分案例达10,000倍（表3）。例如，FC-MNIST中最佳解[0.9597, 0.0006]通信量降低1,572倍。
  
• 精度提升：FL-Opt Pareto前沿的解均优于全通信配置的准确率（表3）。如CNN-MNIST中，最高精度（0.9904）超过全通信配置的0.9845。
  

2. 算法性能对比

• vs NSGA-II：FL-Opt的Pareto前沿覆盖更广，超体积提高（图11），且获得更高精度的非支配解（如FC-MNIST中0.9597 vs 0.9589）。
  
• 强化策略有效性：EDA算子显著提升高精度解的生成效率（图10）。
  

3. 参数分布规律

• 关键变量：通信量主要受E、m、q_i（量化）、y_i（稀疏化）影响，其中大权重层（如CNN的第9层）的量化/稀疏化程度最高（表4-5）。
  
• 训练参数：高精度解倾向于大学习率（η=0.02）、小批次（b=4）、跳过零值聚合（ℴ=1）和权重传输（g=0）（图12-16）。
  

结论与价值

科学意义：
1. 多目标建模：首次联合优化设备异构性、通信触发因素与模型精度，提出CRP的完整数学形式化。
2. 算法创新：FL-Opt通过EDA强化NSGA-II，在高精度区域实现更优搜索效率。

应用价值：
- 为边缘计算场景提供低通信、高精度的FL部署方案。
- 参数分布规律指导实际系统调参（如优先压缩大权重层）。

研究亮点

1. 全面性：首次同步优化量化、稀疏化、设备选择等通信因素，并考虑设备异构性。
   
2. 突破性结果：通信减少达10,000倍的同时提升模型精度，突破传统权衡限制。
   
3. 方法创新：EDA强化策略针对性优化高精度解，兼顾全局探索与局部开发。
   

其他发现

• 设备选择：高精度解无需每轮全设备参与（如FC-MNIST中m=2-3即可）。
  
• 层间差异：算法自动识别关键层（如CNN的第11层）实施极端压缩（q_11=1-2比特），而最大层（第9层）反保留较多信息（y_9=14%）。
  

（全文约2,200字）