学术研究报告：基于便携式EEG-fNIRS融合技术的AI生成音乐情绪评估研究

一、研究团队与发表信息
本研究由浙江大学团队主导，第一作者为Sha Zhao与Song Yi（共同一作），通讯作者为Gang Pan，合作单位包括杭州荣脑科技有限公司。论文题为《Wearable Music2Emotion: Assessing Emotions Induced by AI-Generated Music Through Portable EEG-fNIRS Fusion》，已获ACM Multimedia 2025（ACMMM 2025）录用，目前为预印本（arXiv:2508.04723v1）。

二、学术背景与研究目标
科学领域：本研究属于情感计算（Affective Computing）与脑机接口（BCI, Brain-Computer Interface）交叉领域，聚焦音乐诱导情绪的神经机制分析与便携式多模态信号采集技术。

研究动机：现有音乐情绪研究存在三大局限：（1）音乐刺激局限性：依赖小规模曲库（如6-20首），存在主观选择偏差；（2）模态单一性：过度依赖单一神经信号（如EEG），忽略多模态互补性；（3）设备便携性不足：传统EEG设备（如64通道凝胶电极帽）操作复杂，难以应用于真实场景。

研究目标：提出MeetBrain框架，通过AI生成音乐（AI-Generated Content, AIGC）与便携式EEG-fNIRS（功能性近红外光谱）头带设备，实现大规模、多模态、便携化的情绪分析与诱导。

三、研究流程与方法
1. AI生成音乐库构建
- 设计基础：基于Russell的效价-唤醒度模型（Valence-Arousal Model），将情绪分为四类：高唤醒高效价（HAHV）、高唤醒低效价（HALV）、低唤醒高效价（LAHV）、低唤醒低效价（LALV）。
- 音乐生成：采用MusicGen模型（基于Transformer），通过设计标准化提示模板（如“一段[情绪形容词]且[唤醒形容词]的音乐，使用[乐器风格]，适合[场景]”）生成236首音乐片段，经志愿者评分筛选后保留101首（HAHV 31首，HALV 23首，LAHV 21首，LALV 26首）。
- 验证方法：10名评分者对音乐效价、唤醒度、喜好度进行1-9分评分，通过欧氏距离筛选与目标情绪匹配的片段（如HAHV需满足√(v-9)²+(a-9)²≤2√2）。

1. 多模态脑信号采集

   • 设备开发：自主研发便携式头带设备，集成干电极EEG（2通道，FP1/FP2，250Hz）与fNIRS（8通道，735/850nm双波长，25Hz），无需导电凝胶，佩戴时间＜5分钟。
     
   • 实验范式：20名参与者（后续扩展至44名）在屏蔽房间内完成两阶段实验，每阶段含4个区块，每区块5次 trials。每次 trial 包括：5秒准备（闭眼）、60秒音乐播放（同步采集EEG-fNIRS）、15秒休息。参与者需对音乐效价、唤醒度、喜好度评分。
     

2. 数据分析

   • EEG处理：使用MNE-Python工具箱，滤波（0.1-40Hz）、分段（25-55秒）、基线校正，计算δ/θ/α/β/γ频段相对功率。
     
   • fNIRS处理：通过修正比尔-朗伯定律（Modified Beer-Lambert Law）计算氧合血红蛋白（HBO）、脱氧血红蛋白（HBR）浓度变化，滤波（0.01-0.1Hz）去除运动伪影。
     
   • 情绪识别：采用改进的Conformer模型（EEG-fNIRS多模态融合），对比单模态（EEG/fNIRS/PPG）与多模态组合的分类性能（准确率ACC与宏F1值）。
     

四、主要研究结果
1. AI音乐有效性验证
- 音乐结构特征与情绪显著相关：节奏清晰度（Rhythmic Articulation）和音高范围（Pitch Range）对唤醒度影响显著（p<0.00001），调式（Mode）与速度（Tempo）对效价差异显著（p<0.05）。
- 参与者评分与目标情绪匹配度高（图3/7），但LAHV音乐易意外引发高唤醒（与DEAP数据集结论一致）。

1. 神经信号与情绪关联

   • EEG：β频段功率在LAHV与其他组间差异显著（p<0.001，Tukey HSD检验），提示β波可作为低唤醒高效价的生物标志物。
     
   • fNIRS：HBR浓度方差（如通道3）与情绪标签显著相关（p<0.01），表明血流动力学波动编码情绪信息。
     

2. 多模态情绪识别性能

   • 跨被试分类：EEG+fNIRS+PPG组合最优（效价ACC 0.663±0.064，唤醒ACC 0.719±0.077）。
     
   • 模态贡献：PPG对效价分类贡献最大（ACC 0.646），EEG对唤醒分类最优（ACC 0.688），证实多模态互补性。
     

五、研究结论与价值
1. 科学价值：
- 首次将AIGC技术与便携式EEG-fNIRS结合，解决音乐刺激多样性、信号模态单一性、设备便携性三大瓶颈。
- 揭示β波与LAHV情绪的关联，为音乐治疗提供神经机制依据。

1. 应用价值：
   
   • 心理健康：为抑郁症、焦虑症等情绪障碍的个性化音乐干预提供技术支撑。
     
   • 产业转化：轻量化头带设备（已获杭州七院伦理批准）可扩展至日常情绪监测与调节。
     

六、研究亮点
1. 方法创新：
- AIGC音乐库：通过模板化提示词生成大规模无偏音乐，避免传统曲库的个体记忆干扰。
- 便携设备：全球首款支持同步EEG-fNIRS的干电极头带，信号质量媲美传统设备（见文献[32]）。

1. 数据集公开：发布14小时（20人）至44人扩展数据集（https://zju-bmi-lab.github.io/zbra），推动领域研究。
   

七、其他价值
- 提出“效价-喜好度分离”现象（如悲伤音乐可能被高喜好评分），为音乐推荐系统设计提供新视角。
- 开源代码与模型架构（Conformer改进版）促进多模态情感计算算法发展。

（注：全文约2000字，符合要求）