基于对比学习的跨被试脑电情绪识别研究学术报告

作者及发表信息
本研究由清华大学心理学系和生物医学工程系的沈新科、宋森团队联合四川大学的刘祥根等研究者共同完成，论文题为《Contrastive Learning of Subject-Invariant EEG Representations for Cross-Subject Emotion Recognition》，发表于2023年7月的IEEE Transactions on Affective Computing（IEEE情感计算汇刊）。

学术背景

研究领域与动机
脑电图（Electroencephalogram, EEG）因其直接反映神经活动的特性，已成为情绪识别研究的重要工具。然而，EEG信号存在显著的被试间变异性（inter-subject variability），即不同个体对相同情绪刺激的脑电响应差异显著，导致跨被试情绪识别准确率远低于被试内识别（如SEED数据集中跨被试准确率仅58%，而被试内可达96%）。传统方法需为每个新用户采集大量校准数据（通常需30分钟至1小时），严重限制了实际应用。

科学基础
研究团队受神经科学中被试间相关性（Inter-Subject Correlation, ISC）研究的启发：当多个被试观看相同情绪视频时，其EEG信号会呈现时间、空间和频谱维度的同步模式。这一现象表明，尽管个体差异存在，情绪处理的神经表征仍存在跨被试一致性。

研究目标
开发一种基于对比学习的跨被试对齐方法（CLISA），通过最大化相同情绪刺激下不同被试EEG表征的相似性，同时最小化不同刺激下的相似性，从而提取被试不变的情绪表征，实现无需新用户校准数据的跨被试情绪识别。

研究方法与流程

1. 数据采集与预处理

数据集
- THU-EP数据集：包含80名被试观看28段情绪视频（涵盖愤怒、厌恶等9类情绪）的32通道EEG数据，采样率250Hz。
- SEED数据集：公开数据集，含15名被试的62通道EEG数据，采样率200Hz，标记为积极、中性、消极三类情绪。

预处理流程
1. 滤波与去噪：使用0.05-47Hz带通滤波，通过独立成分分析（ICA）去除眼动等伪迹。
2. 分段处理：提取视频最后30秒的EEG数据，确保情绪诱发强度一致。
3. 对比学习样本构建：从同一视频片段中提取多被试的EEG样本作为正样本对，不同视频片段样本作为负样本对。

2. CLISA模型架构

核心创新：提出两阶段框架——对比学习阶段与预测阶段。

对比学习阶段
- 数据采样器：构建包含正负对的mini-batch。例如，从被试A和B的同一视频片段中各取一个EEG样本作为正对，不同片段样本作为负对。
- 基编码器（Base Encoder）：
- 空间卷积：通过1×m滤波器（m为电极数）融合多通道信号，提取潜在空间模式。
- 时间卷积：采用60阶滤波器（THU-EP数据集）提取频域特征，输出16×16的时空表征。
- 投影头（Projector）：通过平均池化和深度可分离卷积进一步压缩特征，生成对比学习用的低维向量。
- 损失函数：采用温度缩放交叉熵损失，最大化正对相似性，最小化负对相似性。

预测阶段
- 特征提取：从基编码器输出的表征中计算微分熵（Differential Entropy, DE）特征，等效于特定频带的对数能量谱。
- 分类器：使用三层MLP（含30个隐藏单元）进行情绪分类，采用自适应特征归一化（adaptive normalization）增强对新被试的泛化能力。

3. 实验设计

性能评估任务
1. 常规跨被试识别：10折交叉验证（THU-EP）或留一被试验证（SEED）。
2. 泛化性测试：训练集与测试集使用不同视频片段，验证模型对未见过刺激的适应性。

对比方法
- 基线模型：DE特征+MLP（无被试对齐）。
- 传统对齐方法：子空间对齐（SA）、相关成分分析（CorrCA）。
- 对比学习基线：SeqCLR（基于数据增强的对比学习）。

主要结果

1. 分类性能

• THU-EP数据集：
  
  • 二分类（积极/消极）准确率达71.9±8.8%，显著高于DE+MLP（65.2%）和SA（65.5%）。
    
  • 九分类准确率45.7±11.8%，较基线提升10.2%。
    
• SEED数据集：三分类准确率86.4±6.4%，与当前最优方法（如DResNet）相当。
  

关键发现：CLISA的性能随训练被试数量增加而显著提升（图5），表明对比学习能有效利用大规模被试数据提取共性表征。

2. 泛化性验证

在测试集使用未见过视频片段时，CLISA仍保持最高准确率（THU-EP: 63.4%；SEED: 77.4%），证明其学到的表征具有刺激无关性。

3. 时空模式分析

通过积分梯度法识别重要特征，发现：
- 积极情绪：高频活动（>25Hz）集中于颞叶区域（与SEED数据集一致）。
- 消极情绪：低频活动（<4Hz）激活枕叶及后颞区（THU-EP）。
- 离散情绪：厌恶识别准确率最高，可能因其神经表征跨被试一致性较强。

结论与价值

科学意义
1. 方法论创新：首次将ISC神经机制与对比学习结合，为跨被试EEG分析提供新范式。
2. 理论验证：证实情绪处理存在跨被试共享的时空模式，支持“情感工作空间”假说（valence-general brain regions）。

应用价值
- 实用化突破：无需新用户校准数据，显著降低脑机接口（BCI）部署成本。
- 可扩展性：模型框架可迁移至其他跨被试生理信号分析任务。

研究亮点

1. 神经启发设计：基于ISC的对比学习策略，优于传统域适应方法（如对抗训练）。
   
2. 端到端架构：直接处理EEG时域信号，避免手工特征提取的局限性。
   
3. 大规模验证：在80被试的THU-EP数据集上实现目前最优性能，为领域提供新基准。
   

局限与展望

1. 年龄泛化性：被试均为年轻人，需扩展至更广年龄范围。
   
2. 生理机制解释：投影头的神经可解释性有待加强。未来可结合功能连接分析深化机制研究。
   

本研究通过融合神经科学与深度学习，为跨被试情绪识别提供了高效解决方案，其方法论框架对多模态生理信号分析具有广泛借鉴意义。