本文档属于类型a：单一原创研究报告。以下是针对该研究的学术报告：

IEEE Transactions on Evolutionary Computation期刊2022年4月发表的联邦学习研究
作者Hangyu Zhu与Yaochu Jin（英国萨里大学计算机科学系）提出了一种名为”实时联邦进化神经架构搜索（Real-Time Federated Evolutionary Neural Architecture Search, RT-FedEvoNAS）”的创新方法，解决了联邦学习中神经网络架构搜索（NAS）的两大核心挑战：通信资源高消耗与边缘设备计算资源受限问题。

一、学术背景

本研究属于联邦学习（Federated Learning）与自动化机器学习（AutoML）交叉领域。传统联邦学习面临两大技术瓶颈：
1. 通信成本：服务器与客户端间频繁传输大量模型参数（如ResNet18需上传约1100万参数/轮次）；
2. 计算负载：深度神经网络（DNNs）搜索需边缘设备（如手机）承担高负载训练。

现有NAS技术（如强化学习搜索、梯度优化方法）难以直接应用于联邦环境，因其需要：
- 集中式训练（违反数据隐私原则）
- 重复随机初始化模型（导致性能骤降）
- 全模型传输（带宽压力大）

研究目标是开发一种实时在线的联邦NAS框架，在搜索过程中保持模型可用性，同时通过双采样技术降低通信与计算开销。

二、方法论与工作流程

1. 全局模型架构设计

采用超网络（Supernet）结构（图3），包含：
- 12个选择块（Choice Block），每块含4种候选操作：
- 恒等块（Identity Block）
- 残差块（Residual Block）
- 逆残差块（Inverted Residual Block）
- 深度可分离块（Depthwise Separate Block）
- 总参数量715.98M，但通过子模型采样仅传输部分参数

2. 双采样技术（Double-Sampling）

模型采样：
- 每个个体编码为24位二进制串（Choice Key），指定12个选择块的路径
- 仅训练采样路径的子模型（如某个体仅激活25%的层）

客户端采样：
- 每子模型分配$l=\lfloor m/n \rfloor$个客户端（$m$=参与客户端数，$n$=种群大小）
- 客户端无重复采样，确保每设备仅训练1个子模型/轮次

3. 多目标优化框架

采用NSGA-II算法优化：
- 目标1：验证集准确率
- 目标2：计算复杂度（FLOPs）
- 目标3（扩展实验）：参数量

关键创新点：
- 权重继承机制：子模型继承超网络参数，避免随机初始化导致的性能波动
- 填充聚合策略（Algorithm 3）：对未更新的子模型分支填充历史参数，实现异构架构聚合

4. 实验设计

数据集：
- CIFAR10/100（IID与非IID划分）
- SVHN（街景门牌号识别）
- PathMNIST（医学图像）

基线模型：
- ResNet18、MobileNet V1/V2、PNASNet-¹⁄₂

评估指标：
- 实时准确率曲线
- 每秒浮点运算量（FLOPs）
- 通信成本（上传/下载参数量）

三、主要结果

1. 性能对比

• CIFAR10：
  
  • IID数据下，RT-FedEvoNAS最优解（84.34%准确率）超越ResNet18（82.1%）
    
  • 非IID数据下仍保持74.37%准确率，优于MobileNet V2（72.5%）
    
• CIFAR100：
  
  • 三目标优化模型参数量仅ResNet18的1/3，但准确率提升4.2%
    

2. 效率优势

• 通信成本：每轮次仅需传输30.8M参数，比离线联邦NAS降低23倍
  
• 计算负载：客户端训练时间减少81倍（表II）
  

3. 架构发现

进化搜索得到的新型架构特征：
- 浅层偏好深度可分离卷积（降低FLOPs）
- 深层保留残差连接（保障梯度流动）

四、结论与价值

科学价值

1. 方法论突破：首次将实时进化搜索引入联邦NAS，解决离线方法不可行的在线优化问题
   
2. 技术贡献：双采样策略为联邦学习中的NAS建立了可扩展框架
   

应用价值

1. 边缘计算：使手机等设备能参与DNN架构搜索
   
2. 隐私保护：符合GDPR等法规要求，避免原始数据集中传输
   

五、研究亮点

1. 实时性保障：通过权重共享与客户