FedGPT:低秩张量空间中学习全局提示用于异构联邦学习

学术背景 随着人工智能(AI)模型的日益复杂和数据隐私保护的需求增加,联邦学习(Federated Learning, FL)作为一种分布式机器学习范式,逐渐成为研究热点。联邦学习允许多个客户端在不共享本地数据的情况下协同训练一个全局模型,从而在保护数据隐私的同时提升模型的泛化能力。然而,联邦学习在实际应用中面临三大挑战:1)模型参数过多导致通信负担过重;2)非独立同分布(Non-IID)数据导致全局模型性能下降;3)模型异构性使得传统的联邦聚合方法失效。 为了解决这些问题,本文提出了一种名为FedGPT的创新方法,通过在低秩张量空间中学习全局提示(Global Prompt),有效应对上述挑战。具体来说,FedGPT使用提示(Prompt)而非模型参数作为本地知识的载体,从而大幅减少通信量...

基于双视图图表示学习的图级异常检测方法

基于双视图图-图表示学习的图级异常检测研究 学术背景 在当今数据驱动的世界中,图(Graph)作为一种强大的数据结构,被广泛应用于社交网络分析、金融欺诈检测和生物信息学等领域。图能够有效地表示复杂的关系数据,例如社交网络中的用户关系、金融交易中的资金流动以及化学分子中的原子和化学键关系。然而,随着图数据的广泛应用,如何从大量图数据中检测出异常的图样本(Graph-Level Anomaly Detection, GLAD)成为了一个重要的研究问题。 现有的GLAD方法通常依赖于图神经网络(Graph Neural Networks, GNNs)来提取图级表示,并基于这些表示进行异常检测。然而,GNNs的局限性在于其感受野(receptive field)有限,可能无法捕捉到图中潜在的异常信息...

通过高阶运动流进行共轭视觉表征的持续学习

基于高阶运动流的共轭视觉表征持续学习:CMOSFET模型的研究 学术背景 在人工智能和计算机视觉领域,如何从连续的视觉数据流中进行持续学习(Continual Learning)是一个长期存在的挑战。传统的机器学习方法通常依赖于独立同分布(i.i.d.)的假设,即所有训练数据在训练时是静态且可用的。然而,现实世界中的视觉数据往往是连续的、非独立同分布的,这给模型的训练带来了巨大的困难。此外,现有的无监督学习方法大多依赖于大规模的离线训练数据集,这与人类和动物通过连续体验环境进行学习的方式截然不同。 为了解决这些问题,Simone Marullo、Matteo Tiezzi、Marco Gori和Stefano Melacci等研究人员提出了一种新的无监督持续学习模型,名为CMOSFET(Co...

基于互锚对比学习的少样本关系抽取研究

利用实例-标签动态的互锚对比学习进行少样本关系抽取 学术背景 在自然语言处理(Natural Language Processing, NLP)领域,关系抽取(Relation Extraction, RE)是一项基础任务,旨在从文本中识别并提取实体之间的关系。然而,传统的监督学习方法依赖于大量标注数据,而在实际应用中,标注数据的稀缺性严重制约了模型的性能。为了应对这一挑战,少样本关系抽取(Few-Shot Relation Extraction, FSRE)应运而生,旨在通过少量标注数据训练模型,使其能够在有限的样本下准确识别实体关系。 近年来,预训练语言模型(Pre-trained Language Models, PLMs)在FSRE任务中取得了显著进展,尤其是结合对比学习(Contr...

基于旋转不变神经点场的精细编辑方法

基于旋转不变神经点场的精细编辑方法

基于旋转不变神经点场的高效细粒度3D场景编辑研究 学术背景 在计算机视觉和图形学领域,从多视角图像中建模和渲染真实场景的新视角是一个核心问题。神经辐射场(Neural Radiance Fields, NeRF)近年来在生成高质量新视角合成结果方面展现出巨大潜力,并被认为有望取代传统的显式3D表示方法,如网格或体素。然而,尽管NeRF在渲染质量上表现出色,其在场景编辑方面的能力仍然有限。现有的可编辑NeRF方法在效率和细粒度编辑能力上存在明显不足,这限制了NeRF在创造性编辑和实际应用中的潜力。 为了解决这一问题,研究人员提出了一种基于旋转不变神经点场(Rotation-Invariant Neural Point Fields)的编辑框架,旨在通过结合隐式NeRF表示和显式点表示的互补优势...

T-S模糊复杂网络的集合成员估计:动态编码解码机制

学术背景 在当今复杂网络系统中,状态估计(state estimation)是一个关键问题,尤其是在面对不确定性和噪声时。复杂网络通常由多个相互连接的节点组成,每个节点的动态行为可能受到非线性因素的影响。Takagi-Sugeno(T-S)模糊模型因其能够有效捕捉不确定信息并描述复杂网络的非线性动态特性,在复杂网络建模中展现了显著优势。然而,传统状态估计方法通常需要详细的噪声统计特性,而在实际应用中,噪声往往是未知但有界的(unknown but bounded, UBB)。集员估计(set-membership estimation, SME)方法在这种情况下提供了一种新的解决方案,它能够在没有精确噪声统计信息的情况下,提供确定的误差边界。 本研究旨在探讨T-S模糊复杂网络(TSFCNs)...