基于通道加权的多模态特征融合用于EEG疲劳驾驶检测的学术研究报告

作者与发表信息
本研究由程文鑫、闫光辉、常文文等作者合作完成，作者单位均来自兰州交通大学电子与信息工程学院。研究论文《基于通道加权的多模态特征融合用于EEG疲劳驾驶检测》发表于《浙江大学学报（工学版）》2025年第59卷第9期，页码1775–1783。

学术背景
疲劳驾驶是交通事故的主要诱因之一，美国交通部统计显示94%的交通事故与驾驶员行为相关。传统疲劳检测方法（如主观量表、行为观察）存在主观性强、泛化能力差等问题，而基于脑电图（Electroencephalogram, EEG）的生理信号检测因直接反映大脑活动状态，成为更具潜力的解决方案。然而，现有EEG疲劳检测方法面临特征提取单一、模型可解释性不足等挑战。本研究旨在提出一种结合通道加权与多模态特征融合的深度学习模型（NSNMF-PCNN-GRU-MSA），以提升疲劳检测的准确性和泛化能力。

研究流程与方法
1. 数据准备与预处理
- 数据集：使用公开数据集SEED-VIG（23名被试，17通道EEG）和SAD（26名被试，32通道EEG），数据采集于模拟驾驶环境。
- 滤波与频域特征提取：通过带通滤波分离δ（1–4 Hz）、θ（4–8 Hz）、α（8–14 Hz）、β（14–31 Hz）、γ（31–50 Hz）五个频段，并计算微分熵（Differential Entropy, DE）作为频域特征。

1. 通道加权算法（NSNMF）

   • 创新点：采用非平滑非负矩阵分解（Non-smooth Non-negative Matrix Factorization, NSNMF）计算电极通道贡献度，通过协方差矩阵分解生成基矩阵和编码矩阵，归一化后得到各通道权重。
     
   • 参数优化：实验表明激活模式数r=2时准确率最高（SEED-VIG: 93.37%；SAD: 90.78%）。
     

2. EEG信号成像与多模态融合

   • 格拉姆角场（Gramian Angular Field, GAF）：将一维EEG序列映射为极坐标，生成格拉姆角和场（GASF）与格拉姆角差场（GADF）两类图像，保留时间相关性。
     
   • 并行卷积神经网络（PCNN）与门控循环单元（GRU）：
     
     • PCNN并行处理GASF和GADF图像，提取空间特征；
       
     • GRU分析一维时序数据，提取时间特征；
       
     • 通过拼接（Concat）融合时空特征。
       

3. 多头自注意力机制（MSA）

   • 在输出层引入MSA模块，通过查询（Query）、键（Key）、值（Value）的线性变换与缩放点积计算注意力权重，增强特征依赖关系挖掘能力。
     

主要结果
1. 消融实验验证
- 未使用DE特征时准确率仅66.51%（SEED-VIG）和70.24%（SAD），验证频域特征的必要性；
- 通道加权使准确率提升7.18–8.23个百分点；
- PCNN-GRU融合模式在单被试数据中最低准确率达86.60%（SEED-VIG）和85.59%（SAD），显著优于单模态方法。

1. 对比实验

   • 在混合数据集上，模型准确率（93.37%和90.78%）超越基线方法（如LSTM、EEGNet等），较次优模型提升5.24个百分点。
     

2. 可解释性分析

   • 通过脑地形图可视化特征激活值，发现疲劳状态下枕叶（视觉处理区）和顶叶（空间注意区）活跃度升高，揭示神经代偿机制；警觉状态则与额叶、颞叶活动相关。
     

结论与价值
1. 科学价值：
- 提出NSNMF-PCNN-GRU-MSA框架，首次将通道加权、多模态融合与注意力机制结合，为EEG疲劳检测提供新方法；
- 通过脑区激活模式分析，增强模型可解释性，弥补深度学习“黑箱”缺陷。

1. 应用价值：
   
   • 模型的高准确率（>90%）和鲁棒性可嵌入智能驾驶系统，实时预警疲劳状态；
     
   • 为便携式脑机接口设备开发提供理论支持。
     

研究亮点
1. 方法创新：
- 引入NSNMF算法动态加权电极通道；
- 设计PCNN-GRU并行架构融合时空特征；
- 结合MSA机制优化特征选择。

1. 技术突破：
   
   • 在公开数据集上达到当前最高准确率；
     
   • 首次通过脑地形图解释疲劳相关的神经机制。
     

局限与展望
1. 个体差异仍影响模型性能，未来需结合无监督自适应方法；
2. 需进一步开展实车实验验证实用性。

本研究为疲劳驾驶检测提供了兼具性能与可解释性的解决方案，并为脑控驾驶安全系统设计奠定基础。