类型a

主要作者与机构及发表信息
该研究的主要作者包括Keke Gai（北京理工大学）、Zijun Wang、Jing Yu（中央民族大学）以及Liehuang Zhu（北京理工大学）。本研究得到了中国国家自然科学基金（项目编号：U24B200674、62372044）和北京市科学技术委员会项目的支持。论文已被《IEEE Transactions on Information Forensics and Security》接收，预计于2025年正式发表。

学术背景
该研究属于联邦学习（Federated Learning, FL）和持续学习（Continual Learning, CL）领域，旨在解决异构联邦学习中的两个核心问题：数据异构性和灾难性遗忘（Catastrophic Forgetting）。随着深度学习的发展，利用分散数据训练模型成为趋势，但直接共享数据存在隐私和安全问题。为此，联邦学习被提出作为一种隐私保护的分布式机器学习方法。然而，现有的联邦学习方法在处理非独立同分布（Non-IID）数据时面临收敛效率低和灾难性遗忘的问题。此外，在持续学习场景中，当任务流增加时，旧任务的知识容易被遗忘。为了解决这些问题，本研究提出了一个名为MUFTI（Multi-Domain Distillation-based Heterogeneous Federated Continuous Learning）的新框架。

研究工作流程
该研究主要包括以下步骤：

1. 特征表示学习（Feature Representation Learning）

   • 研究对象：实验使用了三个公开数据集，包括Digits、OfficeHome和PACS。这些数据集分别包含不同领域的分类任务。例如，Digits数据集包含MNIST、USPS、SVHN和Syn四个领域，每个领域有10个类别。
   • 方法：通过提取低层特征信息并进行域适应（Domain Adaptation），实现跨域协作训练。具体来说，每个客户端使用其私有数据集预训练本地模型，然后在公共数据集上提取特征表示。服务器收集各客户端的特征表示，并通过对比学习最小化同一样本在不同模型输出之间的距离，同时最大化不同样本之间的距离。
   • 新颖性：该方法结合了迁移学习中的域适应思想和对比学习技术，设计了一种新的特征表示学习方法。

2. 双域知识蒸馏（Dual-Domain Knowledge Distillation）

   • 研究对象：每个客户端的本地模型及其私有数据集。
   • 方法：通过双域知识蒸馏平衡单任务内的跨域知识。具体来说，定义了两种知识蒸馏损失函数：域内知识蒸馏损失（Intra-Domain Knowledge Distillation Loss）和域间知识蒸馏损失（Inter-Domain Knowledge Distillation Loss）。前者利用预训练模型指导本地模型的学习，后者通过协作训练模型提供跨域知识。
   • 新颖性：该方法首次将双域知识蒸馏应用于异构联邦学习，解决了单任务内的知识遗忘问题。

3. 跨任务知识蒸馏（Cross-Task Knowledge Distillation）

   • 研究对象：任务流中的多个任务及其对应的私有数据集。
   • 方法：通过跨任务知识蒸馏缓解灾难性遗忘。具体来说，利用前一任务训练的模型作为教师模型，生成软标签以指导当前任务的学习。通过约束新任务的本地更新，减少对旧任务知识的遗忘。
   • 新颖性：该方法结合了持续学习和联邦学习的思想，设计了一种新的跨任务知识蒸馏策略。

4. 数据分析与实验验证

   • 数据分析：通过对比实验验证了MUFTI在不同数据集上的性能。实验指标包括平均准确率（Average Accuracy）和平均遗忘率（Average Forgetting Rate）。此外，还通过消融实验验证了各个模块的有效性。
   • 实验设置：优化器采用Adam，批量大小为256，学习率为0.001。每个任务的通信轮次为40次。

主要结果
1. 特征表示学习的结果
- 在Digits、OfficeHome和PACS数据集上的实验表明，MUFTI在域内和域间的分类准确率均优于现有方法。例如，在Digits任务中，MUFTI比FedMD方法高出5.67%的准确率。 - 特征表示学习显著提高了跨域知识的学习能力，使模型在不同领域间的泛化能力更强。

1. 双域知识蒸馏的结果

   • 双域知识蒸馏有效缓解了单任务内的知识遗忘问题。例如，在Digits任务中，MUFTI在域间知识学习方面提升了6.76%的准确率。
   • 消融实验表明，特征表示学习和双域知识蒸馏是MUFTI性能提升的关键因素。

2. 跨任务知识蒸馏的结果

   • 跨任务知识蒸馏有效缓解了灾难性遗忘问题。例如，在Digits和OfficeHome-10任务中，MUFTI在新任务上的平均准确率提高了63.94%，同时在旧任务上的遗忘率降低了25%。
   • 实验还验证了超参数λprev的影响，发现λprev=0.51是一个较优的选择。

结论与意义
该研究提出了一种新颖的异构联邦持续学习框架MUFTI，有效解决了数据异构性和灾难性遗忘问题。MUFTI通过特征表示学习和双域知识蒸馏实现了跨域协作训练，通过跨任务知识蒸馏缓解了灾难性遗忘。实验结果表明，MUFTI在多个数据集上的性能优于现有方法，具有较高的准确率和鲁棒性。该研究的意义在于为联邦学习和持续学习领域提供了新的解决方案，具有重要的理论价值和应用前景。

研究亮点
1. 提出了结合域适应和对比学习的特征表示学习方法，增强了模型的泛化能力。 2. 设计了双域知识蒸馏策略，有效缓解了单任务内的知识遗忘问题。 3. 提出了跨任务知识蒸馏策略，解决了任务流增加时的灾难性遗忘问题。 4. 实验验证了MUFTI在不同数据集和模型架构上的通用性。

其他有价值内容
研究还探讨了公共数据集依赖性、模型同质性与异质性等问题。实验结果表明，MUFTI对公共数据集的质量和数量依赖性较低，适用于不同类型的模型架构。此外，研究还验证了特征表示学习相较于logits输出的优势，证明了特征层输出在协作训练中的优越性。