多尺度双曲对比学习用于跨被试EEG情绪识别

计算机科学 信息科学 人工智能 神经病学 医学 临床心理学
脑电图 情绪识别 双曲嵌入 对比学习 跨被试

基于多尺度双曲对比学习的跨被试脑电情绪识别研究

学术背景

脑电图（Electroencephalography, EEG）作为一种生理信号，在情感计算（Affective Computing）领域中具有重要应用。与传统的非生理线索（如面部表情或语音）相比，EEG信号具有更高的时间分辨率和客观性，能够更可靠地反映人类的情感状态。然而，EEG信号存在显著的个体差异，这使得跨被试（Cross-Subject）情绪识别成为一个具有挑战性的任务。不同个体的EEG信号受年龄、心理状态、认知特征等多种因素影响，导致预训练模型在新被试上的泛化能力较差。

为了应对这一挑战，研究者们提出了多种方法，包括基于时频域特征的分析、深度学习模型以及迁移学习等。然而，这些方法往往难以在减少被试间差异的同时保留情感特征的区分性。针对这一问题，本文提出了一种名为多尺度双曲对比学习（Multi-Scale Hyperbolic Contrastive Learning, MSHCL）的新方法，旨在通过结合事件相关性和双曲空间嵌入技术，学习更具泛化能力的跨被试EEG情绪表示。

论文来源

本论文由Jiang Chang, Zhixin Zhang, Yuhua Qian（IEEE会员）和Pan Lin（IEEE会员）共同撰写。作者分别来自山西大学大数据科学与产业研究院和湖南师范大学心理与脑科学研究中心。论文发表于IEEE Transactions on Affective Computing，并于2025年正式出版。论文的源代码已公开在https://github.com/jiangchang-brain/mshcl。

研究流程与结果

1. 研究目标与方法设计

本研究的目标是通过多尺度对比学习和双曲空间嵌入技术，提取跨被试EEG信号中的情感不变特征，从而提高情绪识别的准确性和泛化能力。为此，作者提出了MSHCL框架，该框架在情感和刺激两个尺度上应用对比损失，并通过双曲空间捕捉EEG信号的层次结构。

2. 数据预处理与实验设置

研究使用了三个公开的EEG情绪识别数据集：SEED、MPED和FACED。这些数据集涵盖了不同的情感类别和实验范式，为跨被试情绪识别提供了丰富的测试场景。数据预处理包括下采样（Downsampling）到200 Hz以及通道维度的标准化处理。

3. 多尺度对比学习框架

MSHCL框架的核心在于多尺度对比学习。具体来说，作者设计了两种对比损失： - 情感尺度对比损失：通过对比相同情感标签下的EEG信号，保留情感特征的区分性。 - 刺激尺度对比损失：通过对比相同刺激下的EEG信号，减少被试间的个体差异。

此外，作者将EEG信号嵌入到双曲空间中，利用双曲几何的指数增长距离特性更好地捕捉EEG信号的层次结构。双曲空间的曲率参数（Curvature Parameter, c）和多尺度权重参数（λ）通过实验优化。

4. 实验与结果

研究采用留一被试交叉验证（Leave-One-Subject-Out, LOSO）和10折交叉验证（10-Fold Cross-Validation）评估模型性能。实验结果表明，MSHCL在三个数据集上均取得了优于现有方法的表现： - 在SEED数据集的三分类任务中，准确率达到89.3%。 - 在MPED数据集的七分类任务中，准确率为38.8%。 - 在FACED数据集的二分类和九分类任务中，准确率分别为77.0%和45.7%。

5. 结果分析与可视化

为了进一步验证模型的有效性，作者通过t-SNE（t-Distributed Stochastic Neighbor Embedding）对提取的特征进行了可视化。结果显示，MSHCL能够更好地分离不同情感类别，同时减少被试间的个体差异。

6. 消融实验

为了评估MSHCL各组件的贡献，作者进行了消融实验。结果表明： - 去除多尺度对比学习后，模型性能显著下降，特别是在复杂的情感分类任务中。 - 去除双曲嵌入后，模型性能也有一定程度的下降，表明双曲空间在捕捉EEG层次结构中的重要作用。

结论与意义

本研究提出了一种创新的跨被试EEG情绪识别方法，通过多尺度对比学习和双曲空间嵌入技术，有效地减少了被试间的个体差异，同时保留了情感特征的区分性。实验结果表明，MSHCL在多个数据集上均取得了优于现有方法的表现，为跨被试情绪识别提供了新的解决方案。

研究亮点

  1. 多尺度对比学习：首次在情感和刺激两个尺度上应用对比损失，显著提高了模型的泛化能力。
  2. 双曲空间嵌入：首次将双曲几何应用于EEG信号的情感分类任务，更好地捕捉了EEG信号的层次结构。
  3. 高性能与稳定性：在多个数据集上取得了State-of-the-Art（SOTA）性能，并表现出较低的方差。

未来展望

尽管MSHCL在跨被试EEG情绪识别中表现出色，但仍有一些局限性需要进一步研究。例如，双曲嵌入的可解释性有待提高，未来可以通过引入注意力机制（Attention Mechanism）等技术，更好地理解EEG信号中的层次关系。此外，模型的泛化能力需要在更大规模和多样化的数据集上进行验证。