本文档属于类型a，即报告了一项原创性研究的学术论文。以下是基于文档内容生成的学术报告：

主要作者及机构
本研究的主要作者包括Hao Jin（华南理工大学计算机科学与工程学院）、Ying Gao（华南理工大学计算机科学与工程学院）、Tingting Wang（澳门科技大学信息技术学院）和Ping Gao（广东省人民医院老年呼吸科）。该研究发表于2023年的IEEE Journal of Biomedical and Health Informatics期刊。

学术背景
情感计算（Affective Computing）是人工智能领域的重要研究方向，其中基于脑电图（EEG）的多模态情感识别（Multimodal Emotion Recognition）逐渐成为主流。然而，现有研究主要关注感知情感（Perceived Emotion），如通过姿态、语音或面部表情识别情感，而对诱发情感（Induced Emotion，如通过视频或音乐诱发的情感）的研究较为缺乏，这限制了对双向情感（Two-way Emotions）的探索。为解决这一问题，本研究提出了一种基于EEG和音乐的多模态域自适应方法，称为DAST（Domain-Adaptive learning combining Spatio-Temporal dynamic attention），旨在探索诱发情感与感知情感之间的关联，并消除不同域之间的分布差异。

研究流程
本研究的主要流程包括以下几个步骤：
1. 数据预处理：
- EEG信号被分割为3秒的片段，并去除无信号部分。
- 使用滑动窗口计算不同频段的差分熵（Differential Entropy, DE）特征，并进行Z-score标准化。
- 音乐刺激数据从DEAP数据集中提取，确保每段音乐与EEG片段的标签一致。

1. 全局时空编码器（Global Spatial-Temporal Encoder）：

   • 设计三个独立的编码器分别提取EEG的空间、时间和全局特征。
     
   • 空间编码器通过1D卷积神经网络（1D-CNN）和最大池化处理EEG的空间特征。
     
   • 时间编码器采用类似方法处理EEG的时间特征。
     
   • 全局编码器结合1D-CNN、平均池化和双向长短期记忆网络（BiLSTM）提取全局特征。
     

2. 音乐编码器与共享编码器（Music Encoder and Shared Encoder）：

   • 音乐编码器使用预训练的音乐模型（MusicNN）提取音乐特征。
     
   • 共享编码器通过参数共享和最小化相似性损失，解耦不同模态的情感信息。
     

3. 自适应空间编码器（Adaptive Space Encoder, ASE）：

   • 基于自编码器（Autoencoder）设计，将不同模态的表示映射到高维潜在空间。
     
   • 通过对抗训练与域判别器（Domain Discriminator）学习不变的情感表示。
     

4. 对抗训练与情感分类：

   • 域判别器通过梯度反转层（Gradient Reversal Layer, GRL）更新参数，最大化域判别损失。
     
   • 情感分类器通过最小化分类损失优化参数。
     

5. 实验与评估：

   • 在DEAP数据集上进行5折交叉验证，使用准确率、F1分数、Kappa分数和MCC等指标评估模型性能。
     
   • 进行跨模态检索实验，评估EEG与音乐在高维空间中的相似性。
     

主要结果
1. 不同频段与嵌入位置的实验：
- 融合所有频段的EEG特征在情感分类任务中表现最佳，准确率达到71.47%。
- 在音乐嵌入位置实验中，第5个池化位置（P5）的表现最好，准确率达到80.54%。

1. 与现有方法的对比：

   • 本研究的DAST方法在情感分类任务中优于多种现有方法，准确率达到71.35%。
     

2. 跨模态检索实验：

   • 以EEG片段为查询输入时，音乐检索的MAP（Mean Average Precision）为66.40%，P@10为66.13%。
     
   • 较长的EEG信号（60秒）在检索任务中表现更好，表明长时间的音乐刺激与EEG信号具有更高的一致性。
     

结论
本研究提出了一种新颖的多模态情感识别框架DAST，通过时空动态注意力机制（STA-Attention）和自适应空间编码器（ASE）探索了EEG与音乐之间的嵌入关联。研究结果表明，DAST能够有效融合诱发情感与感知情感，并在情感分类和跨模态检索任务中表现出色。该研究为探索双向情感提供了新的思路，具有重要的科学价值和应用潜力。

研究亮点
1. 首次将诱发情感与感知情感结合，探索了双向情感的关联。
2. 提出了时空动态注意力机制（STA-Attention），能够动态聚焦和融合全局与时空特征。
3. 设计了自适应空间编码器（ASE），通过对抗训练学习不变的情感表示。
4. 在DEAP数据集上进行了广泛的实验验证，证明了方法的有效性。

其他有价值的内容
本研究还探讨了不同频段和音乐嵌入位置对情感识别性能的影响，为未来的研究提供了重要参考。此外，跨模态检索实验进一步验证了EEG与音乐在高维空间中的分布一致性，为多模态情感识别的研究开辟了新的方向。