学术研究报告

本报告旨在详细介绍发表于IEEE Transactions on Mobile Computing（2025年9月，第24卷第9期）的一项原创性研究工作。论文标题为“FedLFP: Communication-Efficient Personalized Federated Learning on Non-IID Data in Mobile Edge Computing Environments”，由Yuxia Sun、Siyi Pan、Aoxiang Sun、Zhixiao Fu、Saiqin Long及Zhetao Li等人共同完成。作者团队主要来自暨南大学信息科学技术学院，合作单位还包括吉林大学信息与计算科学学院以及加拿大多伦多大学计算机科学系。

一、 研究的学术背景

本研究属于移动计算与机器学习的交叉领域，具体聚焦于移动边缘计算（Mobile Edge Computing， MEC） 环境下的联邦学习（Federated Learning， FL） 技术。MEC通过将计算和存储资源下沉至靠近用户设备的网络边缘，旨在降低应用延迟、优化网络带宽。联邦学习作为一种隐私保护的分布式机器学习范式，允许多个边缘节点在不共享原始数据的情况下协作训练模型，与MEC的隐私和分布式特性天然契合。

然而，将联邦学习应用于MEC环境时面临两大核心挑战：通信效率低下与数据异构性（Non-IID）。MEC设备通常带宽有限、资源受限，频繁传输大容量的模型参数会产生高昂的通信开销。同时，不同移动设备因地理位置、使用习惯和应用偏好不同，其产生的数据分布存在显著差异，即数据是非独立同分布的。这种数据异构性会严重损害传统联邦学习模型的性能，导致模型收敛困难、泛化能力下降。

为应对数据异构性问题，个性化联邦学习（Personalized Federated Learning， PFL） 被提出，旨在为每个客户端定制适应其本地数据分布的个性化模型。其中，基于原型（Prototype）学习的PFL方法通过传输轻量级的类别原型（即类内特征均值）而非完整模型参数，在降低通信成本方面展现出潜力。然而，现有方法大多存在局限：1）它们通常为通用计算环境设计，在资源受限的MEC环境中表现欠佳；2）它们需要共享带有类别标签的原型，存在隐私泄露风险且依赖于标注数据；3）许多方法缺乏在非IID数据下的理论收敛性保证。此外，针对MEC环境中的关键安全应用——如Android恶意软件识别——的通信高效型PFL研究尚属空白。

基于此，本研究旨在提出一种专为MEC环境中非IID数据设计的、通信高效且保护隐私的个性化联邦学习方法。其核心目标是：在显著降低通信开销、保护客户端数据隐私（特别是标签信息）的前提下，有效应对数据异构性，提升个性化模型在边缘设备上的性能，并为该方法提供坚实的理论收敛基础。

二、 研究的工作流程详述

本研究提出了一种名为FedLFP的新方法。其核心思想是利用无标签原型（Label-Free Prototypes） 作为服务器与客户端之间知识传递的媒介，并结合创新的加权聚类和对比学习策略来提升原型质量与模型性能。整个工作流程是一个迭代的联邦学习过程，包含客户端本地训练与服务器端全局原型生成两大循环部分，具体步骤如下：

1. 研究总体设计：研究首先在问题建模部分，将MEC环境下的PFL问题形式化为在通信带宽约束下，为拥有异构数据分布的多个客户端协作优化其个性化模型。研究假设了m个客户端，每个客户端拥有私有数据集Di及独特的分布Pi。研究聚焦于算法优化，暂未显式考虑无线信道衰落等物理层因素。

2. FedLFP算法框架：整个系统由多个客户端和一个中央服务器构成。算法的核心是“客户端计算并上传无标签本地原型 -> 服务器加权聚类生成全局原型 -> 客户端下载全局原型并用于增强本地训练”的迭代循环（详见论文图1）。完整算法流程见论文Algorithm 1。

3. 核心程序一：生成无标签本地原型数据

   • 研究过程：在每一轮联邦学习通信回合结束后，每个参与训练的客户端i开始执行此程序。首先，客户端使用其本地的特征提取器处理其私有数据集Di中的样本，得到特征表示。接着，对于数据中存在的每一个类别k（例如，在恶意软件识别中可能是“良性”或某个恶意软件家族），客户端计算属于该类别的所有样本的特征表示的平均值，得到一个初始原型。为确保后续处理的稳定性，该原型会进行归一化处理，形成最终的本地原型 lik（公式2）。
   • 实验/分析方法：为获取每个原型的置信度分数（反映原型被本地分类器正确分类的概率），客户端将该原型lik输入其本地分类器（如一个全连接层），通过Softmax函数获得其属于自身所代表类别的概率sik（公式3）。同时，记录用于计算该原型的样本数量qik。
   • 创新方法：此处的关键创新在于“无标签”策略。客户端在上传数据时，仅打包发送三组信息：原型向量集合 lpi、对应的样本数量集合 qi 以及置信度分数集合 si。不包含任何关于这些原型对应类别名称的标签信息。这显著降低了隐私泄露风险。
   • 研究对象与样本量：研究对象是每个客户端本地数据集中存在的每一个类别。对于每个类别k，都生成一个原型lik、一个置信度sik和一个样本数qik。客户端i总共上传ci个原型（ci为其本地数据类别数）。

4. 核心程序二：使用组合聚类权重生成全局原型

   • 研究过程：服务器收集本轮所有参与客户端上传的无标签本地原型数据。将所有客户端的原型向量、样本数、置信度分数分别拼接成三个全局数组：lp（所有原型）、q（所有样本数）、s（所有置信度）。然后，服务器为lp中的每一个原型计算一个组合聚类权重lwr。
   • 实验/分析方法：组合权重由两部分构成：q权重（基于样本数量，数据量大的原型权重高）和s权重（基于置信度分数，质量高/置信度高的原型权重高）。两者经过归一化后相加（公式4）。这个权重设计是本研究的一个创新点，旨在平衡数据“数量”和“质量”对全局知识的影响。
   • 创新方法：服务器采用加权K-means聚类算法对无标签的原型集合lp进行聚类，聚类数K设置为不小于任务总类别数（例如，恶意软件识别任务中为13类）。聚类时，每个原型的权重即为上一步计算的组合聚类权重lwr。聚类后，每个簇的质心被提取出来，作为全局原型 gp（公式5）。这是一个无监督的全局知识整合过程，无需任何标签信息。
   • 研究对象与样本量：研究对象是所有客户端上传的共 |lp| 个本地原型。服务器基于这些原型及其权重，生成K个全局原型。生成后，服务器将这K个全局原型广播给所有参与下一轮训练的客户端。

5. 核心程序三：使用多层面加权对比学习进行本地训练

   • 研究过程：客户端收到服务器下发的全局原型gp后，开始新一轮的本地模型训练。其损失函数由三部分组成：传统的交叉熵损失lce、监督对比学习损失lbatch、以及无监督对比学习损失lglobal（公式6）。总损失为L = lce + λ * (lbatch + lglobal)，其中λ是平衡超参数。
   • 实验/分析方法：
     • 监督对比损失lbatch（公式7）：作用于一个批次内的本地样本。它拉近同一类别样本的特征表示，推远不同类别样本的特征表示，以增强特征的类内紧凑性和类间可分离性。
     • 无监督对比损失lglobal：这是本研究的核心创新之一，旨在利用无标签的全局原型来指导本地学习。它进一步细分为两个层面：
       • 样本级损失lgp_emb（公式9）：将本地样本的特征表示与所有全局原型进行对比。
       • 原型级损失lgp_lp（公式10）：将本地原型与所有全局原型进行对比。
   • 创新方法：在lglobal中，引入了一个关键的基于相似度的加权机制。对于一对本地表示和全局原型，它们的对比强度不是均等的，而是由一个“相异性权重”动态调整。具体而言，语义相似度较低的“困难负样本对”会被分配更高的权重，从而鼓励模型更努力地拉近那些本应接近但当前距离较远的表示，这比均匀对比更有效。相异性权重可以采用欧氏距离或指数化负相似度等方式计算。
   • 数据工作流程：通过这种多层面的对比学习，客户端模型同时从本地有标签数据（通过lce和lbatch）和来自其他客户端的无标签全局知识（通过lglobal）中学习。这有助于对齐本地特征与全局语义空间，提升模型的泛化能力和个性化性能。

三、 研究的主要结果

本研究在Android恶意软件识别和标准图像分类任务上进行了全面的实验评估，主要结果如下：

1. 模型性能评估结果：

   • Android恶意软件识别：在Kronodroid数据集上，模拟了8种不同非IID程度的实际场景（客户端数20和50，异质性参数α取0.05, 0.1, 0.3, 0.5）。FedLFP在20个客户端和50个客户端设置下的平均准确率分别达到83.78%和78.78%，在所有对比的13种先进的联邦学习方法中位列第一。与基础方法FedAvg相比，提升幅度（δ）分别高达+13.54%和+11.16%。即使在异质性最强的设置（α=0.05）下，FedLFP也保持了显著优势，证明了其处理高度异构数据的能力。
   • 图像分类任务：在Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明，FedLFP取得了最高的平均准确率（84.60%），相比FedAvg提升+21.55%。特别是在更具挑战性的CIFAR-100（高异质性设置）上，FedLFP表现出了与当前最优方法FedGH和FedDistill相当的竞争力，显示了其在不同复杂度任务上的鲁棒性。
   • 消融实验结果（表V）：实验证实了FedLFP各核心组件的有效性。移除服务器端的置信度权重或样本数量权重，准确率分别下降4.83%和6.70%。移除客户端多层面对比学习中的任一损失组件（lbatch, lgp_emb, lgp_lp）或移除相异性加权机制，均会导致性能显著下降（例如，移除加权机制导致准确率下降5.45%）。这些数据有力支持了论文所提策略的必要性和有效性。
   • 收敛性分析：论文提供了严格的理论证明（定理1和定理2），在合理的假设下（如Lipschitz平滑、梯度有界方差等），证明了FedLFP在非IID设置下的收敛性，并给出了收敛速率边界。实验收敛曲线（图2）显示，FedLFP及其变体FedLFP_exp能快速稳定收敛，且最终达到的准确率最高。

2. 通信与计算效率评估结果（表IV）：

   • 通信开销：FedLFP每轮每个客户端仅需传输原型、样本数和置信度分数，通信负载极低（约6.6KB/轮/客户端），与FedProto、FedTGP等原型方法处于同一优秀水平，远低于需要传输完整模型参数的方法（如FedAvg， 约1700KB）。
   • 计算与内存开销：FedLFP的单轮计算时间（9.21秒）略高于部分基线但处于合理范围，而其内存消耗（50轮总计4.0MB）与FedAvg持平，远低于某些复杂方法（如Apple的53.0MB），非常适合资源受限的MEC设备。

3. 其他参数与算法选择分析：

   • 损失权重λ的敏感性实验（表VI）表明，λ=0.1时FedLFP性能最优。
   • 不同聚类算法对比（表VII）显示，K-means在FedLFP框架中表现优于DBSCAN。

四、 研究的结论、意义与价值

本研究成功提出并验证了FedLFP，一种面向MEC环境中非IID数据的、通信高效的个性化联邦学习方法。结论是：通过采用无标签原型策略、基于数量和置信度的组合聚类权重、以及多层面加权对比学习，FedLFP能够在有效保护客户端数据隐私（尤其是标签隐私）的前提下，显著降低通信开销，并在高度异构的数据分布下实现优异且稳定的模型性能，其理论收敛性也得到了保证。

该研究的科学价值在于：1）为PFL领域贡献了一种新颖的、不依赖标签信息的原型学习和知识聚合框架；2）创新性地将加权聚类和细粒度对比学习机制融入联邦学习，提升了模型在异构数据下的表征学习和对齐能力；3）填补了针对MEC关键安全应用（Android恶意软件识别）的通信高效型PFL研究的空白，并提供了理论分析。

其应用价值突出体现在：FedLFP方案特别适用于移动边缘计算场景，如智能手机、物联网设备等，在这些场景中，设备资源有限、数据隐私敏感、且数据自然呈现非IID特性。例如，它可以用于跨多个移动设备协同训练更精准、更个性化的恶意软件检测模型或图像识别模型，而无需上传任何原始数据或敏感标签，同时保持极低的通信成本，具有良好的实际部署前景。

五、 研究的亮点

1. 核心创新点突出：

   • 无标签原型策略：首次在联邦学习的原型方法中彻底摒弃标签传输，在提升通信效率的同时增强了隐私保护。
   • 双权重聚类机制：服务器端结合数据“数量”（q_weight）和“质量”（s_weight）进行加权聚类，提升了全局原型的鲁棒性和代表性。
   • 多层面加权对比学习：客户端采用样本级和原型级的双重无监督对比学习，并引入相异性动态权重，实现了本地表征与全局知识的精细化、高效对齐。

2. 实验评估全面且深入：

   • 不仅使用标准图像数据集，更聚焦于具有实际意义的Android恶意软件识别任务，采用真实的、时间约束分割的Kronodroid数据集，模拟了更贴近现实的非IID场景。
   • 与13种最先进的基线方法进行了广泛对比，涵盖了通用FL、个性化FL、知识蒸馏和原型学习等各类方法，验证充分。
   • 进行了详尽的消融研究、效率分析和超参数研究，深入剖析了各组件贡献和算法特性。

3. 理论结合实践：在提出高效实用算法的同时，提供了严格的非IID数据下收敛性理论保证，增强了方法的科学严谨性和可靠性。

六、 其他有价值的内容

论文在讨论部分（Section VI）坦诚地指出了FedLFP当前版本的局限性和未来工作方向，体现了研究的深度和开放性： 1. 未考虑无线信道衰落对通信效率的实际影响，未来需研究适应动态信道条件的算法。 2. 缺乏针对恶意客户端（如投毒攻击、后门攻击）的专门防御机制，未来需要集成拜占庭鲁棒聚合技术。 3. 性能受系统级因素（如带宽波动、客户端算力差异）影响，未来需探索自适应资源分配策略。 4. 需要在更多样、更复杂的MEC数据集上验证方法的泛化能力和鲁棒性。

这些讨论为后续研究指明了有价值的改进路径。