基于生理信号的深度学习情感分析方法综述

作者及机构
本综述由Divya Garg（印度国立技术学院库鲁克舍特拉分校计算机工程系）、Gyanendra Kumar Verma（印度国立技术学院赖布尔分校信息技术系）和Awadhesh Kumar Singh（印度国立技术学院库鲁克舍特拉分校计算机工程系）合作完成，发表于2023年1月的《Multimedia Tools and Applications》期刊（卷82，页26089–26134）。

研究背景与目标
情感计算（Affective Computing）是人工智能与心理学交叉领域的重要研究方向，旨在通过生理信号（如脑电图EEG、心电图ECG等）自动识别人类情感状态。传统机器学习方法依赖手工特征提取，存在效率低、泛化性差等问题。近年来，深度学习（Deep Learning）因其自动特征学习能力，在情感识别任务中展现出显著优势。本文系统回顾了2012–2022年间基于生理信号的深度学习情感分析方法，旨在为研究者提供技术框架、挑战与未来方向的全面指南。

主要内容与观点

1. 深度学习在情感分析中的核心作用
   传统机器学习需要人工设计特征（如功率谱密度PSD、熵值等），而深度学习通过端到端（end-to-end）学习自动提取时空特征。例如，卷积神经网络（CNN）可直接处理EEG信号的频谱拓扑图，长短期记忆网络（LSTM）则擅长捕捉时序依赖。研究表明，CNN在38%的研究中被采用，因其对图像化生理信号（如EEG热图）的高效处理能力。

2. 生理信号的选择与处理

   • EEG的主导地位：83%的研究使用EEG信号，因其直接反映大脑活动，尤其在额叶和顶叶区域的情感相关波段（如α、β、γ波）具有高判别性。
     
   • 预处理技术：独立成分分析（ICA）和拉普拉斯滤波（Laplacian Filtering）是主流去噪方法，可消除眼动或肌电伪影。
     
   • 特征提取：频域特征（如微分熵Differential Entropy）和时间-频率域特征（如小波变换Wavelet Transform）最常用，优于传统时域统计特征。

3. 深度学习架构的分类与性能

   • CNN：通过卷积层捕捉空间特征，例如Salama等提出的3D-CNN模型在DEAP数据集上实现了99.98%的效价（Valence）分类准确率。
     
   • 深度信念网络（DBN）：通过受限玻尔兹曼机（RBM）堆叠进行无监督预训练，在跨被试任务中表现稳健。
     
   • 混合模型：如CNN-LSTM组合（占研究25%），能同时建模时空特征，在SEED数据集上平均准确率达94.62%。
     

4. 数据集与实验设计

   • 主流数据集：DEAP（63%研究使用）、SEED和AMIGOS是最常用的多模态基准数据集，涵盖效价-唤醒度-支配度（VAD）三维情感标注。
     
   • 实验挑战：数据稀缺性（如临床EEG采集成本高）和个体差异（如性别对EEG模式的影响）是主要瓶颈。部分研究通过数据增强（如Borderline-SMOTE）缓解样本不平衡问题。

5. 未来研究方向

   • 跨域适应：利用生成对抗网络（GAN）合成生理信号，解决标注数据不足问题。
     
   • 实时性优化：开发轻量级模型（如MobileNet-EEG）以适应可穿戴设备部署。
     
   • 多模态融合：结合视觉（面部表情）与生理信号提升鲁棒性，如Zhang等提出的时空RNN（ST-RNN）框架。

研究意义与价值
本文首次系统比较了不同深度学习模型在生理信号情感分析中的性能边界，揭示了CNN在空间特征提取上的优势以及混合模型的潜力。通过总结99篇文献的实验设计，为初学者提供了从数据预处理到模型选择的标准化流程参考。此外，提出的挑战清单（如信号噪声、个体差异）为后续研究指明了突破方向。

亮点与创新
- 全面性：覆盖了从传统RBM到最新Transformer架构的技术演进，并附有详细的分类表格（如表7）。
- 批判性分析：指出EEG信号的低信噪比（SNR）特性对深度学习泛化性的影响，提出数据增强与迁移学习的解决方案。
- 实用建议：针对硬件限制（如边缘计算平台），推荐使用SincNet等低参数量模型。

其他有价值内容
- 性别差异分析：女性在情感任务中表现出更强的EEG模式一致性，这可能影响跨性别模型的泛化能力。
- 开源工具推荐：列举了EEGLAB和PyTorch-EEG等开源库，助力实验复现。

此综述不仅为学术界提供了技术路线图，也为工业界开发情感交互系统（如心理健康监测）奠定了方法论基础。