水平联邦学习的成本高效特征选择

水平联邦学习中高效特征选择的新方法研究 近年来,随着联邦学习(Federated Learning, FL)逐渐成为一种保护数据隐私的分布式机器学习方法,如何在不同用户(即客户端)之间共享信息以训练高效的全局模型,吸引了广泛的关注。在水平联邦学习(Horizontal Federated Learning, HFL)中,所有客户端共享相同的特征空间,但各自的数据样本不同。然而,数据特征的冗余和维度灾难问题严重影响了模型的性能和训练效率。为此,特征选择(Feature Selection, FS)作为机器学习中的一种重要预处理技术,在去除冗余特征和增强模型性能方面具有突出的作用。本研究针对HFL场景下的特征选择问题提出了新方法,以解决这一领域的关键挑战。 论文来源 本论文题为 “Cost-Ef...

平衡特征对齐与统一性用于小样本分类

平衡特征对齐与统一性用于小样本分类

平衡特征对齐与统一性来解决小样本分类问题 背景与动机 少样本学习(Few-Shot Learning, FSL)的目标是在只有少量新类别(novel classes)样本的条件下,正确地对新样本进行识别。现有的少样本学习方法主要通过最大化特征表示与其对应标签之间的信息,来学习从基础类别(base classes)中可转移的知识。然而,这种方法可能会出现“监督崩溃”(supervision collapse)的问题,因为它对基础类别存在偏差。本文提出了一种解决方案,通过保留数据的内在结构,并学习一种适用于新类别的广义模型。本研究依据信息最大化原则,最大化样本与其特征表示之间以及特征表示与其类别标签之间的互信息(mutual information, MI),以在特征表示中平衡类特异性信息的捕获...