利用可解释人工智能进行脑肿瘤检测和分类的视觉Transformer、集成模型以及迁移学习

由于脑肿瘤的高发病率和致命性,快速且准确地检测和分类脑肿瘤变得尤为重要。脑肿瘤包括恶性和非恶性两种类型,其异常生长会对大脑造成长期损害。磁共振成像(MRI)是一种常用的脑肿瘤检测方法。然而,依赖于专家手工分析 MRI 影像存在结果不一致的风险,同时仅仅识别肿瘤是不够的,快速确定肿瘤类型以尽早开始治疗同样重要。 为了提高肿瘤检测的速度、可靠性和公正性,本研究探索了多种深度学习(Deep Learning, DL)架构,包括 VGG16、InceptionV3、VGG19、ResNet50、InceptionResNetV2 和 Xception,并提出了基于最佳三种传递学习(Transfer Learning, TL)模型的新模型 IVX16。本文的多类分类模型旨在解决当前主要集中在二分类问题...

多视角时空图卷积网络与域泛化在睡眠阶段分类中的应用

睡眠阶段分类在睡眠质量评估和疾病诊断中至关重要。然而,现有的分类方法在处理时间延变的多通道脑信号的空间和时间特征、应对个体生物信号差异以及模型的可解释性方面仍然面临诸多挑战。传统的机器学习方法依赖于复杂的特征工程,而深度学习方法尽管在特征表示学习上表现出色,但在空间-时间特征利用、跨个体泛化能力以及模型可解释性方面仍有待提升。 为了应对上述挑战,北京交通大学的Ziyu Jia等人以及麻省理工学院的Li-Wei H. Lehman提出了一种多视角时空图卷积网络(Multi-View Spatial-Temporal Graph Convolutional Networks, MSTGCN),并结合域泛化用于睡眠阶段分类。 论文来源 这篇论文由北京交通大学计算机与信息技术学院的Ziyu Jia,...

基于多任务异构集成学习的跨学科EEG分类在中风患者中的应用

基于多任务异构集成学习的跨学科EEG分类在中风患者中的应用

背景介绍 运动意象(Motor Imagery, MI)指的是通过想象的方式进行活动而无需实际肌肉运动。这一范式在脑机接口(Brain-Computer Interface, BCI)中得到了广泛应用,用于将大脑活动解码为外部设备的控制指令。特别是,脑电图(Electroencephalography, EEG)因其相对廉价、移动方便且时间分辨率高于其他神经影像工具而广泛用于BCI。此外,这一范式可以帮助中风患者进行神经康复。据研究,机器人辅助的脑机接口训练可以提升中风患者的运动康复效果(参见论文[5]和[6])。这是因为在MI期间激活的神经通路与实际运动执行(Motor Execution, ME)的神经通路相似,因此,通过想象这种方式也可能促使感知运动区域的神经通路激活,从而帮助中风后的...

评估胶质瘤生长模型在肿瘤切除后低级别胶质瘤中的预测价值

评估低级别胶质瘤术后生长模型预测价值的研究综述 引言 胶质瘤是一种侵袭性脑肿瘤,其细胞在脑内快速扩散。理解和预测这种扩散的模式和速度可以帮助优化治疗方案。基于扩散-增殖模型的胶质瘤生长模型已经展示出可行性,但在实际临床数据中应用和评估这些模型仍有挑战。为了改进对此问题的评估,本研究提出将肿瘤生长问题视为排序问题,并使用平均精度(Average Precision, AP)作为指标。这一方法无需特定的体积阈值,能够更准确地评估空间模式。 研究来源 该论文由Karin A. van Garderen、Sebastian R. van der Voort、Maarten M. J. Wijnenga等人撰写,作者来自荷兰鹿特丹伊拉斯姆斯医学中心的放射学和核医学、神经外科、病理和神经学等部门。论文发...

具有注意力机制的时间依赖学习卷积神经网络在运动想象脑电解码中的应用

MI-EEG解码中基于注意力机制的时间依赖学习卷积神经网络(CNN) 研究背景与问题描述 脑机接口(Brain-Computer Interface, BCI)系统提供了一种通过实时翻译大脑信号与计算机进行通信的新途径。近年来,BCI技术逐渐在为瘫痪患者提供辅助和预防性护理方面发挥了重要作用。现有的许多BCI系统依赖于非侵入性且相对便捷的脑电图(EEG)信号记录来追踪大脑活动。然而,即使在同一MI任务期间,不同时期产生不同MI相关模式的时间依赖性特性也往往被忽略,从而大大限制了MI-EEG解码性能。 论文来源与作者信息 论文《A Temporal Dependency Learning CNN with Attention Mechanism for MI-EEG Decoding》于202...

物理信息驱动深度学习用于肌肉骨骼建模:基于表面肌电图预测肌肉力量和关节运动

肌骨模型已经广泛用于生物力学分析,因为它们能够估计难以通过活体直接测量的运动变量(如肌肉力量和关节力矩)。传统的物理驱动计算肌骨模型可以解释神经驱动到肌肉、肌肉动力学、以及身体和关节运动学和动力学之间的动态交互。然而,这些模型由于其复杂性,运行速度较慢,难以实现实时应用。近年来,数据驱动方法以其实现速度快和操作简单的优点成为一种有前途的替代方案,但它们不能反映基础的神经机械过程。 本文提出了一种融合物理知识的深度学习框架,用以实现肌骨建模。在该框架中,将物理领域的知识引入数据驱动模型,作为软约束对其进行罚则/正则化处理。本文采用表面肌电图(SEMG)同步预测肌肉力量和关节运动学作为示例,使用卷积神经网络(CNN)实现该框架,并在两个数据集上进行了实验验证,展示了该框架的有效性和鲁棒性。 论文...

基于深度学习的实时视觉学习者识别模型

在如今的教育环境中,理解学生的学习风格对提高他们的学习效率至关重要。特别是视觉学习风格(visual learning style)的识别,有助于教师和学生在教学和学习过程中采取更有效的策略。目前,自动识别视觉学习风格主要依靠脑电图(Electroencephalogram, EEG)和机器学习技术。然而,这些技术通常需要离线处理来消除伪影和提取特征,从而限制了其在实时应用中的适用性。 这项由Soyiba Jawed、Ibrahima Faye和Aamir Saeed Malik在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》上发表于2024年的研究,提出了一种基于深度学习技术的实时视觉学习者识别模型,...

多特征注意力卷积神经网络用于运动想象解码

脑机接口(Brain-Computer Interface, BCI)是将神经系统与外部环境连接的一种通讯手段。运动想象(Motor Imagery, MI)是BCI研究的基石,它指在运动执行前的内在演练(Internal Rehearsal)。非侵入性技术如脑电图(Electroencephalography, EEG)因其成本效益高与便利性,可以高时间分辨率记录神经活动。当受试者想象移动身体特定部位时,大脑特定区域会发生能量变化(ERD/ERS),这些变化可以通过EEG记录并用于辨别运动意图。MI基础的BCI系统已经取得显著进展,能够控制外骨骼和光标,特别是与虚拟现实技术结合,用于中风康复的潜力更为显著。 目前,MI解码方法的高性能是这种系统成功的关键。然而,相比于依赖外部刺激的其它BC...

EISATC-Fusion 模型用于运动想象EEG解码

EISATC-Fusion 模型用于运动想象EEG解码

研究背景 脑机接口技术(brain-computer interface, BCI)可以实现大脑与外部设备的直接通信,广泛应用于人机交互、运动康复、医疗等领域。BCI的常见范式包括稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)、P300、运动想象(motor imagery, MI)等。其中,MI-BCI因其广泛应用前景而备受关注。 MI-BCI通常使用脑电图(electroencephalography, EEG)信号检测运动想象,使得用户能够通过想象运动来控制设备,如电动轮椅、光标和上肢机器人。然而,脑活动的不稳定性和低信噪比(signal-to-noise ratio, SNR),以及个体间信号的差异和EEG信道间的相关性,...

基于Transformer的深度学习网络与时空信息结合的原始EEG分类方法

研究背景及目的 近年来,脑机接口(Brain-Computer Interface,BCI)系统在神经工程和神经科学领域广泛应用,而脑电图(Electroencephalogram,EEG)作为反映中枢神经系统不同神经元群体活动的数据工具,已经成为这些领域中核心的研究内容。然而,EEG信号具有低空间分辨率、高时间分辨率、低信噪比以及个体差异大等特征,这些都为信号处理和准确分类带来了极大的挑战。尤其在运动想象(Motor Imagery,MI)这一EEG-BCI系统常用范式中,准确分类不同MI任务的EEG信号对于BCI系统的功能恢复和康复具有重要意义。 传统的MI-EEG分类方法通常基于手工特征提取和分类,但这些方法可能在特征提取阶段丢失EEG的有用信息。近年来,深度学习模型因其自动特征提取和...