类型a

由Hangyu Zhu和Yaochu Jin（IEEE Fellow）合作完成的研究论文《Multi-Objective Evolutionary Federated Learning》发表于2020年4月的《IEEE Transactions on Neural Networks and Learning Systems》第31卷第4期。这项研究来自英国萨里大学计算机科学系，致力于解决联邦学习（Federated Learning）中的通信效率与模型性能平衡问题。

学术背景
联邦学习作为新兴的隐私保护机器学习范式（由McMahan等人于2016年率先提出），其核心特点是允许数据保留在本地设备上，仅通过交换模型参数实现协同训练。然而，与传统集中式学习相比，联邦学习需要频繁的服务器-客户端通信，导致显著的通信资源消耗。此外，现有方法通常采用全连接神经网络结构，其参数量庞大进一步加剧了通信负担。本研究结合多目标进化算法（Multi-Objective Evolutionary Algorithm）与神经网络架构搜索技术，旨在同时优化通信成本和全局模型精度，其科学意义在于首次将联邦学习建模为双目标优化问题，并通过进化算法实现了神经网络结构的自动优化。

研究流程与方法
1. 问题建模与算法框架
研究首先将联邦学习重构为双目标优化问题：目标一是最小化通信成本（通过减少模型参数量实现），目标二是最小化全局模型测试误差。采用改进的NSGA-II算法作为求解框架，其中创新性地引入稀疏进化训练（SET, Sparse Evolutionary Training）方法编码神经网络连接性。关键改进在于： - 将SET的权重删除操作推迟到最后一轮训练迭代，避免因频繁剪枝导致的优化波动 - 设计混合编码方案：二进制编码处理离散参数（隐层数、神经元数等），实数编码处理连续参数（学习率、SET参数ε和ξ）

1. 神经网络架构进化
   基于Erdős-Rényi随机图定理初始化稀疏连接，连接概率公式为： [ p(w_{ij}^k) = \frac{\varepsilon(nk + n{k-1})}{nk n{k-1}} ] 实验设置包含两类网络：

   • 多层感知机（MLP）：最大4隐层，每层最多256神经元
   • 卷积神经网络（CNN）：最多3个卷积层（滤波器数≤64）、3个全连接层（神经元≤256）

2. 联邦学习优化流程
   通过改进的FedAvg算法（算法3）进行模型训练，核心步骤包括：

   • 每轮随机选择c×K个客户端（c∈(0,1)）
   • 客户端本地训练时采用小批量SGD（批量大小50，学习率0.1-0.3）
   • 服务器聚合采用加权平均：( \theta{t+1} = \sum{k=1}^m \frac{n_k}{n} \theta_t^k )
   • 目标函数计算：测试误差et=1-精度，模型复杂度φt=平均参数量

3. 实验设计
   在MNIST数据集上验证，设置两种数据分布：

   • IID数据：随机划分600样本/客户端
   • 非IID数据：按标签分类后每客户端仅分配2类数据 比较基线为全连接MLP（199,210参数）和CNN（1,625,866参数），评估指标包括：
   • 测试精度随通信轮次的变化（MLP 500轮，CNN 200轮）
   • Pareto前沿解集的超体积（Hypervolume）指标

主要发现
1. 稀疏模型性能
通过SET算法可将MLP连接数减少至全连接的10%（约20,000参数），测试精度仅降低2%；CNN保留12%连接时精度损失仅0.45%。最优进化结果中： - MLP方案high1（ε=121,ξ=0.1314）：46%连接数下测试精度优于全连接模型（IID 98.16% vs 97.96%） - CNN方案high2（ε=41,ξ=0.0625）：9.7%连接数时精度达98.79%（较全连接提升0.04%）

1. 数据分布敏感性分析
   进化模型在非IID数据上表现出显著差异：

   • 基于IID数据优化的knee点解在非IID数据上性能骤降（MLP精度从96.84%→93.77%）
   • 反观基于非IID优化的模型在两种分布下均保持鲁棒性，证实非IID环境对模型泛化能力的严格检验

2. 计算效率创新
   提出的延迟剪枝策略使SET算法在联邦场景下的训练稳定性提升，通信轮次减少50%的情况下仍保持收敛性。进化20代后超体积指标趋于稳定，显示算法的高效性。

结论与价值
本研究开创性地将多目标进化优化引入联邦学习，其科学价值体现在三个方面： 1. 方法论层面：建立首个联邦学习双目标优化框架，证明模型稀疏化与精度提升的可协同性 2. 技术层面：改进的SET-FedAvg算法通信效率提升50%以上，为边缘计算部署提供可能 3. 应用层面：进化所得模型结构对非IID数据具有强适应性，推动联邦学习在医疗、金融等敏感领域的落地

研究亮点
1. 创新性提出”通信成本-模型精度”Pareto前沿概念，突破传统单目标优化局限 2. 设计的混合编码方案支持深度学习架构的灵活进化，可扩展至ResNet等复杂网络 3. 发现非IID环境对模型结构的选择压力规律，为后续研究指明方向

未来展望
作者指出三个待解决问题：① 复杂数据集（如CIFAR-10）的优化效果验证 ② 深层网络（>50层）的进化效率提升 ③ 对抗攻击（如Bagdasaryan等人提出的后门攻击）对进化模型的影响。这些方向将推动联邦学习理论与应用的协同发展。