学术研究报告：MVF-SleepNet——基于多视图融合网络的睡眠分期分类研究

作者及发表信息

本研究的核心作者包括Yujie Li、Jingrui Chen、Wenjun Ma、Gansen Zhao（均来自华南师范大学计算机学院）以及Xiaomao Fan（深圳技术大学大数据与互联网学院）。研究成果发表于IEEE Journal of Biomedical and Health Informatics（2024年5月，第28卷第5期），论文标题为《MVF-SleepNet: Multi-View Fusion Network for Sleep Stage Classification》。

学术背景

研究领域与动机
睡眠分期分类是睡眠医学和健康监测的核心任务，传统依赖专家视觉判读多导睡眠图（Polysomnography, PSG）信号的方法效率低且主观性强。尽管已有基于机器学习或深度学习（如CNN、RNN）的自动化模型，但现有方法存在三大局限：
1. 模态单一性：多数研究仅使用EEG（脑电图）或EEG+EOG（眼电图）信号，忽略多模态生理信号（如ECG心电图、EMG肌电图）的互补信息；
2. 特征局限性：现有方法多从时域、频域或时频域提取特征，忽视非欧几里得空间（如人体拓扑结构）的空间域特征；
3. 数据表示单一性：传统模型仅处理欧几里得空间数据（如时间序列、图像），未利用图结构数据表征信号间复杂关系。

研究目标
提出MVF-SleepNet，一种基于多模态生理信号的多视图融合网络，通过结合时频图像（TF images）和图学习图（GL graphs）的双重视角，融合谱-时域和空-时域特征，提升睡眠分期分类性能。

研究方法与流程

1. 数据准备与预处理

• 数据集：使用公开数据集ISRUC-S3（10名健康受试者）和ISRUC-S1（100名睡眠障碍患者），包含6通道EEG、2通道EOG、1通道ECG和3通道EMG信号，采样率200 Hz，按AASM标准分为W、N1、N2、N3、REM五期。
  
• 预处理：降采样至100 Hz，剔除每名受试者最后30个睡眠阶段，采用“当前段+前后邻接段”的三段输入策略以捕捉时序关联。
  

2. 多模态关系表征

（1）时频图像（TF images）构建

• 方法：对每30秒睡眠阶段信号段，通过短时傅里叶变换（STFT）生成时频图，窗口宽度100，叠加10个通道的时频图形成100×100×10的三维张量。
  
• 意义：通过STFT将时域信号转换为时频联合域，保留信号的谱-时域特征。
  

（2）图学习图（GL graphs）构建

• 方法：将每个通道视为图节点，通过自适应图学习（Adaptive Graph Learning）自动构建节点间连接关系。具体步骤：
  
  • 使用1D-CNN提取各通道特征矩阵；
    
  • 通过公式（3）计算邻接矩阵，利用ReLU确保非负性，Softmax归一化；
    
  • 最小化损失函数（公式4）优化图结构，λ=0.001为正则化参数。
    
• 意义：捕捉人体拓扑结构（如脑、心、眼、下颌的生理连接）的非欧几里得空间特征。
  

3. 多视图特征提取

（1）谱-时域特征提取

• VGG-16网络：从TF图像中提取2560维谱特征，替换原模型全连接层以降低参数量。
  
• GRU网络：结合当前段及邻接段特征，通过注意力机制（公式8）加权融合，输出256维时序特征。
  

（2）空-时域特征提取

• Chebyshev图卷积：利用k=9的Chebyshev多项式（公式6）提取空间特征，结合空间注意力（公式5）动态调整节点权重。
  
• 时序卷积：对GL graphs的邻接段施加时序注意力（公式9）和TCN（公式10），输出256维空-时特征。
  

4. 多视图特征融合与分类

• 融合策略：拼接谱-时域和空-时域特征（公式11），通过全连接层和Softmax输出五分类概率。
  

主要实验结果

性能指标（10折交叉验证均值）

| 数据集 | 准确率（Acc） | F1分数 | Kappa系数 |
|———-|————–|——–|———–|
| ISRUC-S3 | 0.841 | 0.828 | 0.795 |
| ISRUC-S1 | 0.821 | 0.802 | 0.768 |

关键发现

1. 分期性能：在ISRUC-S3上，REM期F1分数达0.828，显著优于基线模型（如U-Sleep、GraphSleepNet）；N1期因过渡特性分类难度大，与临床实践一致。
   
2. 消融实验：仅使用谱特征（VGG-16）准确率为0.812，融合多视图特征后提升至0.841，证明多视图互补性。
   
3. 可视化分析：t-SNE显示模型能清晰分离五期，错误多发生于过渡阶段（如W-N1）。
   

结论与价值

科学价值

1. 方法论创新：首次将时频图像与自适应图学习结合，统一欧几里得与非欧几里得空间的特征表示；
   
2. 临床意义：为睡眠障碍（如失眠、嗜睡症）的自动化诊断提供高精度工具，缓解专家依赖性问题。
   

应用前景

• 医疗系统集成：可部署于便携式PSG设备，实现实时睡眠监测；
  
• 扩展性：模型框架可迁移至其他生理信号分析任务（如癫痫检测）。
  

研究亮点

1. 多模态融合：同时利用EEG、ECG、EOG、EMG信号，全面捕捉睡眠生理变化；
   
2. 双视图表征：TF images和GL graphs分别建模信号的规则性与拓扑关联；
   
3. 动态注意力机制：空间/时序注意力模块自适应强化关键特征，提升模型解释性。
   

局限性

• 数据多样性不足：训练集受试者数量有限（ISRUC-S3仅10人），未来需联合医院扩大样本；
  
• 计算成本：图卷积与VGG-16的联合训练需GPU加速，可能限制嵌入式设备应用。
  

本研究代码已开源（GitHub: yjpai65/mvf-sleepnet），为后续研究提供可复现基准。