类型a
主作者和研究机构：
本文的主要作者包括黄文珂（Wenke Huang）、叶芒（Mang Ye）、石泽坤（Zekun Shi）和杜博（Bo Du），他们分别隶属于武汉大学国家多媒体软件工程技术研究中心、计算机科学学院、湖北多媒体与网络通信工程重点实验室以及人工智能研究所。此外，还有来自新加坡南洋理工大学的陶大程（Dacheng Tao）。本研究发表于ECCV 2024会议论文集，属于Lecture Notes in Computer Science (LNCS)系列。
学术背景：
本研究属于联邦学习（Federated Learning）领域，特别是针对异构联邦学习（Heterogeneous Federated Learning, HFL）中的后门攻击（Backdoor Attack）防御问题。联邦学习是一种分布式机器学习技术，允许多个客户端在不共享数据的情况下协同训练一个全局模型，从而保护数据隐私。然而，这种框架容易受到后门攻击的影响。后门攻击通过在训练数据中注入触发器模式，使得全局模型在特定输入下产生目标错误预测，从而威胁联邦学习的鲁棒性。现有防御方法通常依赖于两个假设：数据同质性和恶意客户端比例较低。然而，在实际场景中，这些假设往往难以满足，尤其是在异构联邦学习中，客户端数据分布可能高度非独立同分布（Non-IID）。因此，如何设计一种无需依赖上述假设的防御方法成为研究的重点。
研究目标：
本文提出了一种名为自驱动费舍尔校准（Self-Driven Fisher Calibration, SDFC）的方法，旨在通过参数重要性差异来区分良性异构客户端和恶意后门客户端，从而提高异构联邦学习对后门攻击的鲁棒性。
详细工作流程：
本研究包含以下几个主要步骤：
参数重要性度量
首先，研究利用费舍尔信息矩阵（Fisher Information Matrix, FIM）来衡量参数对于目标分布的重要性。FIM量化了模型权重扰动对输出的影响，从而反映了每个参数的重要性。为了降低计算复杂度，研究采用对角化近似的方式将FIM从高维矩阵简化为一维向量。具体公式如下：
[ m(d) \approx E_{(x,y)\in d}[\nabla \log p(y|x,w)^2] \in R^{|w|} ] 其中，(m(d)[v])表示参数(v)对于目标分布(d)的重要性。
本地优化与全局聚合
研究定义了参数重要性差异矩阵(hk)，用于衡量客户端(k)的本地分布与验证分布之间的差异。具体公式为：
[ h{k,v} = |m(d_k)[v] - m(u)[v]| ] 其中，(d_k)表示客户端(k)的本地分布，(u)表示清洁验证分布。基于此差异矩阵，研究引入了费舍尔差异正则化（Fisher Difference Regularization, FDReg）和费舍尔差异聚合（Fisher Discrepancy Aggregation, FDAgg）两种机制。FDReg通过惩罚重要性差异较大的参数来限制本地模型吸收受污染知识的能力；FDAgg则根据总体参数重要性差异分配聚合权重，鼓励与全局分布接近的客户端贡献更多。
实验设计
实验部分包括三个数据集：MNIST、Fashion-MNIST和CIFAR-10。研究使用Dirichlet分布模拟数据异构性，并设置了不同的恶意客户端比例（(\upsilon=30\%)和(\upsilon=50\%))。实验对比了多种现有防御方法，包括距离差异防御（如FoolsGold、DNC）、统计分布防御（如Trim Median、Bulyan）和模型精炼防御（如RSA、FineTuning）。评估指标包括联邦良性性能（Top-1 Accuracy）、后门失败率（Backdoor Failure Rate）以及综合性能指标(v=\frac{1}{2}(a+r))。
主要结果：
实验结果显示，SDFC在多个数据集和设置下均表现出显著优势。例如，在MNIST数据集上，当(\beta=0.5)且(\upsilon=50\%)时，SDFC在综合性能指标(v)上比最佳对比方法高出27.14%。此外，SDFC在不同恶意客户端比例和数据异构性程度下均保持稳定性能，表明其具有较强的鲁棒性。研究还发现，现有方法在大规模恶意客户端或严重数据异构性条件下表现不佳，而SDFC通过参数重要性差异成功解决了这一问题。
结论与意义：
本研究提出了一种新颖的SDFC方法，通过参数重要性差异实现了对异构联邦学习中后门攻击的有效防御。该方法不仅避免了对数据同质性和恶意客户端比例的假设，还提供了更高的鲁棒性和泛化能力。其科学价值在于揭示了参数重要性差异在区分良性异构客户端和恶意客户端中的关键作用；其应用价值在于为实际联邦学习系统提供了一种可靠的防御策略。
研究亮点：
1. 提出了基于参数重要性差异的自驱动校准方法，首次实现了无需额外假设的后门防御。
2. 利用费舍尔信息矩阵精确量化参数重要性，有效降低了计算复杂度。
3. 在多种数据集和设置下验证了方法的优越性，特别是在高恶意比例和严重数据异构性条件下的鲁棒性。
其他有价值内容：
研究还探讨了SDFC在不同本地更新轮数和客户端规模下的性能表现，结果表明其具有快速收敛能力和良好的扩展性。此外，研究团队开源了代码，为后续研究提供了便利。