这篇文档属于类型a,即报告了一项原创性研究。以下是对该研究的学术报告:
本研究的主要作者包括Peiliang Gong、Ziyu Jia、Pengpai Wang、Yueying Zhou和Daoqiang Zhang。他们分别来自南京航空航天大学计算机科学与技术学院、中国科学院自动化研究所。该研究于2023年10月29日至11月3日在ACM国际多媒体会议(MM ‘23)上发表。
该研究属于情感计算(Affective Computing)和人机交互(Human-Computer Interaction)领域,特别是基于脑电图(EEG)的情感识别。EEG情感识别因其高时间分辨率、操作简便和低成本等优势,近年来在情感计算和人机交互领域引起了广泛关注。然而,现有的研究大多忽略了EEG信号中复杂的时空模式耦合与互补性,且在高冗余和低信噪比的EEG信号中提取关键判别特征仍然是一个巨大挑战。因此,本研究提出了一种新颖的基于注意力机制的时空双流融合网络(ASTDF-Net),旨在更好地捕捉EEG信号的时空耦合特性,并有效融合关键判别特征,以提升情感识别的性能。
首先,研究设计了一个时空协同嵌入模块,用于将输入的EEG信号映射到一个联合潜在子空间,以捕捉EEG信号中复杂的时空信息耦合。具体来说,该模块通过可学习的左乘矩阵和右乘矩阵分别映射空间信息和时间信息,并通过偏置项进行调整。该模块的输入为EEG数据矩阵 (X \in \mathbb{R}^{N \times T}),其中 (N) 表示电极通道数,(T) 表示时间点数。
接下来,研究采用了堆叠的时空注意力块来提取EEG信号中的关键判别特征。每个时空注意力块由空间注意力流和时间注意力流组成,分别从空间和时间维度提取特征。空间注意力流通过多头注意力机制动态建模不同脑区之间的空间依赖关系,而时间注意力流则通过类似的结构捕捉时间片之间的动态相关性。两个注意力流通过残差连接和层归一化确保训练的稳定性。
为了融合从双流结构中提取的关键特征,研究提出了一个混合注意力特征融合模块。该模块通过软注意力机制自适应地计算不同特征视图的重要性,并将加权后的特征进行拼接,最终得到融合后的时空特征。
最后,研究采用了两个全连接层作为情感分类模块,输出一个 (C) 维的类别分布向量。整个框架的损失函数为交叉熵,并通过正则化约束防止过拟合。
研究在两个公开的EEG情感识别数据集(DEAP和MAHNOB-HCI)上进行了广泛的实验,验证了ASTDF-Net的有效性。实验结果表明,ASTDF-Net在多个情感维度(如唤醒度、效价、支配度和喜好度)上的分类性能均优于现有的最先进方法。具体来说,ASTDF-Net在DEAP数据集上的唤醒度、效价、支配度和喜好度的分类准确率分别比次优方法高出2.77%、3.12%、2.64%和2.75%,在MAHNOB-HCI数据集上的唤醒度和效价的分类准确率分别高出1.25%和1.56%。
ASTDF-Net通过引入时空协同嵌入模块和双流注意力特征提取模块,有效捕捉了EEG信号的时空耦合特性,并通过混合注意力特征融合模块保留了关键的互补信息,显著提升了情感识别的性能。该研究不仅为EEG情感识别提供了新的技术路径,还为相关领域(如驾驶疲劳分析和认知负荷识别)提供了潜在的应用价值。
研究还通过t-SNE可视化技术展示了不同模块提取的特征分布,进一步验证了各模块的有效性。此外,研究还对模型的时空注意力块深度、注意力头数量和时空嵌入维度等关键参数进行了详细分析,为后续研究提供了参考。
ASTDF-Net通过创新的网络结构和注意力机制,显著提升了EEG情感识别的性能,为情感计算和人机交互领域提供了重要的技术突破。