InA: 在预训练语言模型上的抑制自适应方法

InA: 在预训练语言模型上的抑制自适应方法 预训练语言模型(Language Models, LMs)已经在自然语言处理(Natural Language Processing, NLP)任务中取得了显著的效果。然而,传统的微调方法存在冗余参数的问题,影响了效率和效果。为了应对这一挑战,本文提出了一种称为抑制自适应(Inhibition Adaptation, INA)的微调方法,用以减少添加的可调权重,并适当地再权重来自预训练语言模型的知识。 研究背景和问题 当前,微调预训练语言模型是一种常见的解决NLP下游任务的方法。然而,经典的微调方法需要更新所有的模型参数,这会导致冗余参数问题,尤其是当应用于新的下游任务时。冗余参数不仅影响模型的效率,还会阻碍模型性能的提升。为了解决这一问题,已有...

异质共存吸引子、大尺度幅度控制和中央循环忆阻神经网络的有限时间同步

异质共存吸引子、大尺度幅度控制和中央循环忆阻神经网络的有限时间同步 学术背景 忆阻器因其类似大脑突触的记忆性和非线性等物理特性,在类脑神经网络的混沌动力学研究中具有巨大理论和实际意义。近年来,随着大数据和人工智能领域的发展,传统的固定神经网络模型在映射大脑结构和功能上的局限性逐渐显现,这成为形态神经学研究进一步发展的主要障碍。自2008年HP实验室首次发展出物理非线性忆阻器以来,忆阻器在人工神经网络领域受到了广泛关注。忆阻神经网络(Memristive Neural Networks, MNNs)的构建对于研究人脑结构与功能之间的关系、分析人脑神经系统机制、以及增强人工智能决策、优化自适应控制和加速硬件计算都是极其重要的。 论文来源 这篇文章《Heterogeneous Coexisting...

适应性识别和优化不良区域以实现准确的立体匹配

适应性识别和优化不良区域以实现准确的立体匹配

适应性识别和优化不良区域以实现准确的立体匹配 研究背景和动机 随着计算机视觉技术的快速发展,立体匹配技术因其高准确性、成本效益及非侵入性,在机器人、航天、自动驾驶和工业制造等诸多领域中发挥了至关重要的作用。然而,立体匹配在处理遮挡区域、模糊区域时,像素对之间的一致性约束变得不可靠,导致隐藏对应关系探索的困难。因此,尽管在卷积神经网络(CNN)和基于变换器(Transformer)的研究进展迅速,多数方法在处理不良区域时仍存在性能瓶颈。为了应对这一挑战,研究团队引入了一种误差区域特征优化机制以提供上下文特征,从而改进不良区域的立体匹配效果。 研究来源和简介 本文题为”Adaptively Identify and Refine Ill-Posed Regions for Accurate St...

使用模型投影的联邦学习进行多中心疾病诊断

使用模型投影的联邦学习进行多中心疾病诊断

使用模型投影的联邦学习进行多中心疾病诊断 背景介绍 随着医学影像技术的快速发展,基于自动化诊断方法的研究在单中心数据集上表现出良好的性能。然而,这些方法在实际应用中往往难以泛化到其他医疗机构的数据。主要原因是这些方法通常假设不同医疗中心的数据是独立同分布(IID)的,而实际上不同中心由于使用不同的扫描仪和成像参数,导致数据分布非独立同分布(Non-IID)。此外,不同中心诊断的患者数量和种类也存在较大差异。因此,多中心的数据具有异质性,无法通过集中化学习(Centralized Learning)有效解决这一问题。 近年来,联邦学习(Federated Learning,FL)作为一种去中心化框架,为多中心协同训练全球模型提供了可能,同时还保留了各中心患者数据的隐私。然而,Non-IID数据...

自适应采样人工实际控制在约束系统非零和博弈中的应用

自适应采样人工实际控制在约束系统非零和博弈中的应用 背景 在现代工业和科研领域中,智能技术和控制系统的迅速发展,使得传统的控制方法难以满足保证系统稳定性和最小化能耗的严格要求。实际系统通常非常复杂,至少包含两个控制单元,并存在组件之间错综复杂的竞争与合作关系。这种情况下,设计的控制方案不仅要考虑单个控制器的效益最大化,还要实现全局优化。这类问题通常被视为非零和博弈(Non-Zero-Sum Games,NZSG),在多物理输入约束条件下,处理系统耦合动态是一个重要的研究难题。 论文来源 本文题为《Adaptive Sampling Artificial-Actual Control for Non-Zero-Sum Games of Constrained Systems》由Lu Liu和R...

多尺度视觉中枢引导的多模态神经机器翻译:文本感知的跨模态对比解耦

多尺度视觉中枢引导的多模态神经机器翻译:文本感知的跨模态对比解耦

多尺度视觉中枢引导的多模态神经机器翻译:文本感知的跨模态对比解耦 学术背景 多模态神经机器翻译(Multi-Modal Neural Machine Translation, MNMT)旨在将语言无关的视觉信息引入文本以提升机器翻译的性能。然而,由于图像和文本在模态上的显著差异,这两者之间不可避免会出现语义不匹配的问题。解决这些问题的目标在于通过使用分解的多尺度视觉信息作为跨语言中枢,提高不同语言之间的对齐,从而改进MNMT的表现。 论文来源 这篇论文由朱俊俊、苏瑞和叶俊杰等研究人员撰写,作者分别来自昆明理工大学信息工程与自动化学院、云南大学信息科学与工程学院以及云南省人工智能重点实验室。论文将在2024年发表于著名期刊”Neural Networks”。 研究流程 研究工作主要分为以下几个...

中枢神经系统自体免疫性疾病的抗BCMA CAR-T细胞疗法单细胞分析

中枢神经系统自体免疫性疾病的抗BCMA CAR-T细胞疗法单细胞分析

单细胞分析抗BCMA CAR-T细胞疗法在中枢神经系统自身免疫病患者中的应用 引言 在中枢神经系统(CNS)自身免疫病的治疗中,嵌合抗原受体(CAR)T细胞治疗展示出潜在的长效控制能力。本文研究了抗BCMA(B细胞成熟抗原)的CAR-T细胞在治疗视神经脊髓炎谱系病(NMOSD)中的效果。NMOSD是一种中枢神经系统的炎性自身免疫性脱髓鞘疾病,以视神经炎和脊髓炎的反复发作为特征,导致严重的神经功能缺损。目前的NMOSD治疗手段并不能有效针对CNS内的免疫失调。 CAR-T细胞疗法在血液癌症治疗中显示出显著潜力,但其在自身免疫病中的效果和分子机制尚不明确。本文通过单细胞多组学测序,研究了五名接受抗BCMA CAR-T细胞治疗的NMOSD患者,以探讨CAR-T细胞在体内的特性和免疫变化。 研究来源...

肿瘤中丝氨酸的富集通过鞘氨醇介导的c-fos调控促进调节性T细胞积累

科学论文报道 科学领域的发现往往对于理解自然现象和改进实际应用具有重大意义。最近,发表在《Science Immunology》上的一篇研究论文“Serine enrichment in tumors promotes regulatory T cell accumulation through sphinganine-mediated regulation of c-Fos”(2024年4月19号,Sci. Immunol. 9, eadg8817)揭示了肿瘤中丝氨酸丰富对调节性T细胞(Treg cells)积累和抗肿瘤免疫的影响。本文将对该研究的背景、方法、结果和意义进行详细介绍。 研究背景 过往研究表明,T细胞为基础的免疫治疗方法在癌症治疗中具有巨大潜力。然而,由于肿瘤微环境(TME,...

基因筛选揭示TRIM33在树突状细胞分化中的关键作用

全基因组筛选识别TRIM33作为树突状细胞分化的关键调节因子 背景介绍 树突状细胞(Dendritic cells,DCs)在先天和适应性免疫之间起桥梁作用,通过模式识别受体(如TLRs)识别病原体,并调控抗原特异性T细胞反应。树突状细胞主要分为两类:产生干扰素的浆细胞样树突状细胞(plasmacytoid DCs,pDCs)和抗原呈递的常规树突状细胞(conventional DCs,cDCs)。pDCs通过内体TLRs(TLR7和TLR9)识别病原体衍生的核酸并快速产生I型干扰素和其他细胞因子,而cDCs具有高水平的主要组织相容性复合物(MHC)II类分子和抗原呈递机器,可以有效地激活初始的抗原特异性T细胞。cDCs进一步分为能够交叉呈递抗原给CD8+ T细胞的CDC1和专门呈递外源性抗...

TH17 内源性 IL-1β–STAT5 轴驱动自身免疫神经炎中的类固醇抵抗

TH17 内源性 IL-1β–STAT5 轴驱动自身免疫神经炎中的类固醇抵抗

TH17 内源性 IL-1β–STAT5 轴驱动自身免疫神经炎中的类固醇抵抗 学术背景 类固醇抗性(steroid resistance)是管理各种炎症性疾病,包括自身免疫性神经炎症(autoimmune neuroinflammation)中的一个主要挑战。T辅助17(T helper 17,TH17)细胞普遍被认为与类固醇抗性有关。然而,其具体的机制尚不明确。实验性自身免疫性脑脊髓炎(experimental autoimmune encephalomyelitis,EAE)是一种被广泛使用的动物模型,用于研究自身免疫性中枢神经系统炎症的免疫病理机制。这些研究表明,导致EAE发病的炎症过程分为两个阶段:首先T细胞被初始激活并渗透入中枢神经系统(CNS),然后在CNS中再激活T细胞,从而引...