类型a

主要作者与机构及发表信息
本文的主要作者包括陈奕仲（Yi-Chung Chen）、陈熙文（Hsi-Wen Chen）、王顺贵（Shun-Gui Wang）以及陈明山（Ming-Syan Chen），他们均来自台湾大学（National Taiwan University）。该研究于2023年在《神经信息处理系统会议》（NeurIPS 2023）上发表。

学术背景
联邦学习（Federated Learning, FL）是一种分布式机器学习框架，允许在不共享原始数据的情况下训练全局模型。近年来，评估参与方贡献的研究受到广泛关注，因其在激励机制设计、鲁棒性提升、客户端选择等方面具有重要应用价值。传统的评估方法多依赖Shapley值（Shapley Value），但其计算复杂度高且需要多轮通信，限制了实际应用。此外，基于验证集的评估方法对验证集大小高度依赖，进一步增加了计算负担。因此，本研究旨在提出一种高效的方法，即单轮参与者融合（Single-Round Participant Amalgamation for Contribution Evaluation, SPACE），以解决现有方法在计算效率和通信成本上的不足，并提供更高的评估精度。

详细工作流程
本研究的工作流程分为以下几个步骤：

1. 知识蒸馏与特征对齐（Federated Knowledge Amalgamation）
   在此步骤中，客户端首先使用本地数据训练各自的局部模型。随后，这些局部模型被用作教师模型，通过知识蒸馏技术将特征信息传递到服务器模型。为了实现高效的特征对齐，研究引入了特征投影模块（Feature Projector Modules, FPMs），将不同客户端的特征映射到一个公共特征空间。对于每个教师模型，研究定义了一个权重函数，根据其预测置信度调整蒸馏损失。同时，为防止特征被投影到恒定向量，研究还引入了重建损失（Reconstruction Loss）和预测蒸馏损失（Prediction Distillation Loss）。最终，服务器模型在一轮通信内完成知识蒸馏，生成增强后的全局模型θ*。

2. 原型构建与模型评估（Prototype-Based Model Evaluation）
   原型是表示每个类别的嵌入向量，用于捕捉数据分布特征。研究利用θ*从客户端和服务器验证集中分别提取原型。客户端的原型表示为p(j)i，其中j表示类别，i表示客户端；服务器验证集的原型表示为p(j)v。通过比较客户端原型与服务器原型之间的相似性，可以快速评估模型性能，而无需迭代验证集中的所有样本。这种方法显著降低了评估复杂度。

3. 贡献评估与Shapley值计算
   研究采用Shapley值来量化参与方的贡献。然而，传统方法直接使用模型性能作为效用函数可能导致理性违反问题。为此，研究提出了一种基于逻辑函数（Logistic Function）的效用函数修正方法，能够更好地反映用户满意度。此外，研究还引入了剪枝技术（Pruning Technique），通过设定阈值τ来加速Shapley值的计算。

4. 实验验证
   实验部分涵盖了多个任务，包括贡献评估、客户端重加权（Client Reweighting）和客户端选择（Client Selection）。实验数据集包括MNIST、CIFAR-10和Tiny-ImageNet，非独立同分布（Non-IID）和标签错误（Mislabel）场景被用来模拟实际应用场景。研究对比了SPACE与多种基线方法（如GT-Shapley、TMC-Shapley、GTG-Shapley和DIG-FL）的性能。

主要结果
1. 贡献评估
实验结果显示，SPACE在Pearson相关系数（PCC）方面表现优异，尤其在标签错误场景中表现最佳。例如，在MNIST数据集的标签错误场景中，SPACE的PCC达到0.9612，显著优于其他方法。此外，SPACE的通信成本仅为1.76MB，远低于其他方法（如GT-Shapley的11813.12MB）。

1. 客户端重加权
   在非IID和标签错误场景中，SPACE通过静态和动态重加权机制显著提升了模型性能。例如，在CIFAR-10数据集的标签错误场景中，动态重加权方法使模型准确率提高了3.52%。

2. 客户端选择
   结合聚类采样（Clustered Sampling, CS）算法，SPACE通过原型相似性矩阵优化了客户端选择过程。实验表明，该方法在异构数据分布下表现尤为突出，优于现有的MD和CS算法。

结论与意义
本研究提出了SPACE方法，通过单轮通信实现了高效的参与方贡献评估。该方法的核心创新点包括联邦知识蒸馏技术和基于原型的模型评估方法，显著降低了计算复杂度和通信成本。SPACE在贡献评估、客户端重加权和客户端选择等多个任务中表现出色，为联邦学习的实际应用提供了重要支持。其科学价值在于解决了传统方法在计算效率和通信成本上的瓶颈，其应用价值体现在激励机制设计、鲁棒性提升和客户端管理等方面。

研究亮点
1. 提出了单轮通信的联邦知识蒸馏技术，显著减少了通信轮次和计算开销。
2. 引入基于原型的模型评估方法，消除了对验证集大小的依赖。
3. 提出逻辑函数修正效用函数，增强了评估的合理性和实用性。
4. 实验验证了SPACE在多种任务中的优越性能，尤其是在非IID和标签错误场景中的鲁棒性。

其他有价值内容
研究还探讨了无标签验证集场景下的适用性，提出基于熵纯度的损失函数修正方法，证明了SPACE在缺乏标签信息时仍具备一定的可行性。此外，研究分析了潜在的恶意攻击场景，并提出了相应的防御策略，进一步增强了方法的安全性。