分享自:

基于Transformer的可解释EEG情绪识别框架

期刊:Frontiers in Neuroscience

该文档属于类型a,即单篇原创研究的报告。以下是基于文档内容生成的学术报告:

主要作者及研究机构
本研究的主要作者包括Ruixiang Liu、Yihu Chao、Xuerui Ma、Xianzheng Sha、Limin Sun、Shuo Li和Shijie Chang。研究团队来自中国医科大学智能医学院(School of Intelligent Medicine, China Medical University)、中国科学院上海微系统与信息技术研究所(Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences)以及中国医科大学生命科学学院(School of Life Sciences, China Medical University)。该研究于2024年1月17日发表在《Frontiers in Neuroscience》期刊上。

学术背景
该研究的主要科学领域是脑电图(Electroencephalography, EEG)情感识别,属于脑机接口(Brain-Computer Interface, BCI)和深度学习(Deep Learning)的交叉领域。情感识别是大脑的高级认知功能之一,能够直接反映个体的心理状态。EEG作为一种非侵入性、高时间分辨率的工具,被广泛应用于情感识别研究。然而,EEG信号的复杂性和不稳定性对传统的情感识别方法提出了挑战。尽管深度学习技术在捕捉EEG信号中的情感线索方面表现出色,但大多数方法在保持高精度的同时缺乏可解释性。因此,本研究旨在开发一种基于Transformer架构的可解释端到端EEG情感识别框架,以解决现有方法的局限性。

研究流程
本研究的主要流程包括数据预处理、模型开发、实验验证和结果分析。

  1. 数据预处理
    研究使用了两个公开的EEG数据集:DEAP(Database for Emotion Analysis using Physiological Signals)和SEED-V。DEAP数据集包含32个EEG通道和8个其他生理信号,记录了受试者在观看音乐视频时的生理反应。SEED-V数据集则包含16名受试者在观看电影片段时的EEG信号,情感类别分为“快乐”、“悲伤”、“厌恶”、“恐惧”和“中性”。预处理步骤包括:去除50Hz工业频率干扰、消除生理伪影、应用带通滤波器(DEAP为4-45Hz,SEED-V为1-50Hz)、将信号分割为4秒的非重复片段,并进行重采样和归一化。

  2. 模型开发
    研究团队提出了一种名为ERTNet(Emotion Recognition Transformer Network)的框架,其核心由特征提取模块和Transformer模块组成。特征提取模块采用时空卷积技术,包括时间卷积、空间卷积和可分离卷积层,用于从EEG信号中提取显著信息并过滤高频噪声。Transformer模块基于Google提出的Transformer编码器结构,采用多头注意力机制和残差结构,用于整合高层次时空特征。模型通过超参数优化方法(Optuna库)调整了时间卷积核数量、长度、空间卷积核数量等参数。

  3. 实验验证
    研究进行了主体依赖(Subject-Dependent)和主体独立(Subject-Independent)实验,分别采用10折交叉验证和留一法交叉验证(Leave-One-Subject-Out Cross Validation, LOSOCV)评估模型性能。研究还进行了消融实验,评估不同时间卷积核对分类性能的影响。

  4. 结果分析
    研究通过可视化卷积核和脑地形图,分析了模型对不同频段和脑区的关注程度,并对比了ERTNet与其他基于卷积神经网络(CNN)和长短期记忆网络(LSTM)的模型的性能。

主要结果
1. 模型性能
在DEAP数据集上,ERTNet在主体依赖实验中的平均准确率为74.23%(±2.59%),显著优于其他基线模型(如EEGNet、CNN-BiLSTM等)。在SEED-V数据集上,ERTNet的平均准确率为67.17%(±1.70%),同样表现出色。在主体独立实验中,ERTNet在DEAP和SEED-V数据集上的平均准确率分别为50.33%和29.41%,尽管性能有所下降,但仍优于部分基线模型。

  1. 可解释性分析
    通过可视化时间卷积核和空间卷积核,研究发现模型主要关注高频(Beta和Gamma频段)和中频(Alpha频段)的EEG信号。消融实验表明,移除高频信号相关的时间卷积核对模型性能影响显著,而移除低频和中频信号相关的时间卷积核影响较小。

  2. 创新点
    ERTNet框架通过结合时空卷积和Transformer模块,实现了从局部到全局的感知场,显著提高了情感识别的准确性。此外,模型能够自适应地生成高斯型卷积核,有效过滤输入EEG数据中的高频噪声。

结论
本研究提出了一种基于Transformer架构的可解释端到端EEG情感识别框架,显著提高了情感识别的准确性和可解释性。研究结果表明,ERTNet在多个数据集上均表现出色,尤其在捕捉高频EEG信号方面具有显著优势。该框架为EEG驱动的脑机接口提供了有力的工具,具有重要的临床应用价值。

研究亮点
1. 重要发现
ERTNet在DEAP和SEED-V数据集上的表现优于现有模型,尤其在主体依赖实验中表现出色。通过可解释性分析,研究揭示了Beta和Gamma频段在情感识别中的关键作用。

  1. 方法创新
    ERTNet框架结合了时空卷积和Transformer模块,实现了从局部到全局的感知场,显著提高了情感识别的准确性。模型能够自适应地生成高斯型卷积核,有效过滤高频噪声。

  2. 研究意义
    该研究为EEG情感识别提供了一种新的可解释框架,具有重要的科学价值和临床应用潜力。未来的研究可以进一步验证该模型在更大规模和多样化数据集上的性能,并探索其在复杂临床环境中的应用。

其他有价值的内容
研究团队还公开了相关代码和数据,鼓励其他研究者在更多数据集上测试和验证ERTNet的性能。这为EEG情感识别领域的进一步研究提供了宝贵的资源。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com