本研究由Jin Yue (天津大学)、Xiaolin Xiao (天津大学)、Kun Wang (天津大学)、Weibo Yi (北京机械设备研究所)、Tzyy-Ping Jung (加州大学圣地亚哥分校/国立阳明交通大学)、Minpeng Xu (天津大学)和Dong Ming (天津大学)共同完成。研究成果发表于Cyborg and Bionic Systems期刊（Volume 6, 2025），文章标题为《Augmenting Electroencephalogram Transformer for Steady-State Visually Evoked Potential-Based Brain–Computer Interfaces》。

学术背景

本研究隶属于脑机接口（Brain–Computer Interface, BCI）领域，具体聚焦于基于稳态视觉诱发电位（Steady-State Visually Evoked Potential, SSVEP）的BCI系统。SSVEP-BCI因其高信息传输率（Information Transfer Rate, ITR）和较少训练需求而备受关注，但其性能提升依赖于高效的脑电图（Electroencephalogram, EEG）信号解码。

当前，深度学习模型已广泛用于EEG解码，但面临两大核心挑战： 1. 数据稀疏性问题：由于实验设置复杂、耗时、受试者数量有限以及个体间变异大，获取大量、高质量的EEG训练数据非常困难。数据稀疏容易导致模型过拟合、泛化能力差。 2. 模型设计问题：传统卷积神经网络在处理动态EEG信号时可能丢失关键的时序信息。同时，多数数据增强方法（如混合、噪声注入）缺乏明确的神经生理学基础，未能充分利用EEG信号的先验知识，导致生成的数据质量不高。

基于此，本研究的目标是双重的：首先，提出一种基于神经生理学原理的新型EEG数据增强策略，以有效缓解数据稀疏性；其次，设计一种能够充分捕捉EEG信号时空频特征的先进深度学习模型，以提升SSVEP的解码效率和精度，特别是在短训练数据长度下的表现，这对于实现高速、实用的BCI系统至关重要。

详细工作流程

本研究包含方法提出、实验验证和结果分析三大模块，具体流程如下：

第一模块：提出新方法 1. 背景EEG混合数据增强策略（Background EEG Mixing, BGMix）的提出： * 理论基础：该方法基于EEG信号的神经生理学特性。研究者认为，SSVEP信号由任务相关成分（对特定频率视觉刺激的稳定响应）和背景EEG（任务无关的神经活动噪声）组成。相同刺激下，任务相关成分在不同试次间相对稳定；而背景EEG则波动较大。 * 实现步骤： a. 成分提取：对于一个给定类别，计算其多个试次的平均模板，作为该类的“任务相关成分”。从单个试次信号中减去该平均模板，得到“背景EEG”。 b. 混合生成：为了生成新样本，将一个类别A的平均模板（任务相关成分）与另一个不同类别B的某试次的背景EEG相加，从而合成一个新的EEG样本。该新样本的标签为类别A和B的加权混合（类似Mixup策略）。 c. 流程：算法通过选择不同数量的试次来构建模板和背景EEG，可以生成大量多样化的合成样本。研究中，对数据集I，通过使用2个和3个试次构建，将数据扩增了80倍；对数据集II，使用2、3、4个试次构建，扩增了120倍。该策略仅在第二阶段（受试者特异性微调）使用。 * 核心创新：BGMix并非随机混合数据，而是有目的地保留任务相关特征，同时替换背景噪声，使得生成的样本既具有数据多样性，又符合EEG信号的固有结构，是一种“有神经生理学依据”的数据增强。

1. 增强EEG变换器模型（Augment EEG Transformer, AETF）的设计：
   • 架构组成：AETF是一个专门为处理EEG信号设计的Transformer-based模型，旨在整合时空频特征。其结构包含三个顺序模块： a. 全连接层（空间滤波器）：输入为多通道EEG信号，该层学习通道间的非线性组合，起到空间滤波的作用，输出多个空间特征。 b. 卷积层（频率滤波器）：采用一维卷积，其核长度设置为采样率的一半（借鉴EEGNet），旨在提取信号中的频率信息。该层输出多个频率特征。 c. Transformer编码器模块（时序特征提取器）：包含两层Transformer编码器。在卷积层输出（已展平为时序序列）后加入位置编码，然后输入Transformer。其多头自注意力机制能够捕捉长距离依赖关系，提取关键的时序动态特征。研究将注意力头的数量设置为与频率滤波器数量一致，模拟滤波器组操作。 d. 分类层：最后接一个全连接层进行类别预测。
   • 设计理念：该模型结合了CNN在局部特征提取和Transformer在长序列建模上的优势，旨在全面而高效地解码SSVEP信号。

第二模块：实验设计与验证 1. 数据集：研究使用了两个公开的SSVEP数据集进行离线的模型性能评估。 * 数据集I：来自Nakanishi等人（2015）的工作，包含10名受试者，12个刺激目标（频率），每个目标15个试次（4秒时长），记录8个通道EEG（采样率256 Hz）。 * 数据集II：来自Wang等人（2017）的Benchmark数据集，包含35名受试者，40个刺激目标，每个目标6个试次（5秒时长），使用9个通道EEG（下采样至250 Hz）。 2. 实验设置与训练细节： * 基线方法： * 数据增强对比：比较了BGMix与多种传统增强方法，包括时域（高斯噪声、时间反转、平滑时间掩蔽）、频域（频移、傅里叶变换替代）和空域（通道重排）方法，以及简单的Mixup策略。 * 解码模型对比：将AETF与经典深度学习模型（ShallowConvNet, DeepConvNet, EEGNet）以及两种先进的传统分解方法——集成任务相关成分分析（Ensemble TRCA, ETRCA）和任务判别成分分析（Task Discriminant Component Analysis, TDCA）进行比较。 * 训练策略：采用两阶段训练以应对个体差异。第一阶段，使用所有受试者的数据训练一个跨受试者通用模型，学习共有的SSVEP特征。第二阶段，以此模型权重初始化，使用单个受试者的数据（包括原始数据+BGMix生成数据）进行微调，得到受试者特异性模型。 * 评估指标：使用平衡准确率（Balanced Accuracy, BA）和信息传输率（ITR）来评估分类性能，重点关注短数据窗（0.2秒至0.5秒）下的表现，这对于高速BCI至关重要。 * 消融实验：通过移除AETF中的Transformer模块，验证其有效性。 * 可视化与可解释性：使用t-SNE可视化输入样本、生成样本以及Transformer输出特征的分布；可视化Transformer层的注意力矩阵，以理解其工作机制。 * 模型效率与压缩：评估了AETF的计算成本（参数量、内存占用、训练时间），并探索了知识蒸馏（Knowledge Distillation）技术，训练了一个更轻量化的单层Transformer学生模型（AETF_1layer），以降低计算负担。

第三模块：数据分析工作流 1. 数据预处理：对两个数据集的EEG信号进行8-90 Hz的带通滤波。 2. 模型训练与验证：采用分试次的k折交叉验证。在每折中，为每个受试者每个类别留出一个试次作为测试集，其余用于训练和验证。在应用BGMix时，增强样本与原始训练/验证集结合形成新训练集，原始训练/验证集合并为新验证集。 3. 结果统计：对分类准确率等性能指标进行统计检验（数据集I使用Wilcoxon符号秩检验，数据集II使用配对t检验），以验证性能提升的显著性。 4. 结果解释：结合统计结果、可视化分析和消融实验，系统地论证BGMix策略和AETF模型的有效性、优势及内在逻辑。

主要结果

1. BGMix策略显著提升模型性能：

   • 在两个数据集上，BGMix策略均显著提升了四种深度学习模型（ShallowConvNet, DeepConvNet, EEGNet, TF Model/AETF without BGMix）的平均分类准确率。
   • 在数据集I上，提升幅度为11.06% 到 21.39%；在数据集II上，提升幅度为4.81% 到 25.17%。提升效果在训练数据长度越短时越明显。
   • 统计检验表明，无论模型类型或数据长度如何，使用BGMix带来的准确率提升都是显著的（p < 0.01）。
   • 与传统的6种数据增强方法相比，BGMix在生成样本数量增加时，性能持续提升或保持稳定，而传统方法则停滞甚至下降，这证明了BGMix能生成更高质量、更多样化的训练样本。
   • t-SNE可视化显示，BGMix生成的样本分布与原始训练样本分布高度重合，且经过AETF模型处理后，各类别特征的可分离性增强，直观验证了BGMix的有效性。

2. AETF模型在短数据窗下表现卓越：

   • 总体性能：在结合BGMix策略后，AETF模型在两个数据集的所有测试条件下，均超越了所有基线深度学习模型以及传统的ETRCA和TDCA方法。
   • 短数据窗优势：AETF的优势在短训练数据长度（如0.2秒）下尤为突出。在数据集I上，0.2秒数据窗的准确率达到80.1%；在数据集II上达到54.1%，均优于其他对比方法。
   • 最高ITR：AETF取得了两个数据集的最高ITR，分别为205.82 ± 15.81 bits/min（数据集I）和240.03 ± 14.91 bits/min（数据集II）。与TDCA的统计比较显示，AETF在短数据窗下的ITR提升是显著的。
   • 消融实验验证Transformer模块关键作用：移除两层Transformer模块导致AETF分类准确率在两个数据集上平均下降约2.8%-3.0%，且在短数据窗下性能下降更为明显。这证实了Transformer模块在提取复杂时序特征、构建高速BCI解码算法中的核心重要性。
   • 注意力机制的可解释性：对Transformer层注意力矩阵的可视化显示，第一层注意力分布不规则，表明模型在广泛探索时序特征；第二层注意力则集中在某些固定时间点，表明模型成功提取并聚焦于关键的时间动态特征。

3. 模型效率与压缩探索：

   • AETF的参数量、内存占用和单折训练时间均高于对比的深度学习模型和传统方法，这源于其模型复杂度和处理大量增强数据的需求。
   • 通过知识蒸馏得到的轻量化模型AETF_1layer（单层Transformer，隐藏维度减半），在性能上仅比完整AETF略有下降（数据集I平均降1.27%，数据集II平均降4.92%），但显著降低了内存消耗和训练时间。然而，若不使用BGMix，AETF_1layer的性能会急剧恶化，这强调了BGMix对于维持Transformer模型性能的重要性。

结论与价值

结论：本研究成功提出并验证了一种基于神经生理学原理的EEG数据增强策略（BGMix）和一个专为EEG信号设计的Transformer-based解码模型（AETF）。两者的结合有效地解决了SSVEP-BCI中数据稀疏性和复杂时序特征建模的挑战，显著提升了模型，特别是在极短时间窗下的解码精度和系统ITR。

科学价值： 1. 方法论创新：BGMix为EEG数据增强提供了一个新的、有理论依据的范式，强调了利用信号固有成分（任务相关vs.背景噪声）进行结构化增强的思路，超越了传统的随机扰动方法。 2. 模型架构创新：AETF是较早将Transformer架构系统性地应用于SSVEP解码的研究之一，其结合空间滤波、频率滤波和时序注意力机制的设计，为EEG信号处理提供了新的网络设计思路，证明了Transformer在捕捉EEG长程依赖方面的潜力。 3. 推动领域发展：该研究为开发高性能、高速度的SSVEP-BCI系统提供了有效的工具，将深度学习在此任务上的性能提升到了新的高度，并为解决其他模态BCI或EEG分析任务中的数据与模型问题提供了借鉴。

应用价值：研究所实现的高ITR和短时窗高精度解码能力，直接有助于开发更快速、更灵敏、用户体验更好的实时BCI应用，例如高速脑控拼写器、敏捷的神经假肢控制或快速的注意力状态监测系统。

研究亮点

1. 问题导向的协同创新：研究并非孤立地改进数据增强或模型，而是针对SSVEP-BCI的核心瓶颈（数据稀疏、时序建模），提出了BGMix和AETF这一套协同工作的解决方案，体现了系统性的研究思路。
2. 神经生理学启发的数据增强：BGMix的核心亮点在于其设计植根于对SSVEP神经生成机制的理解（分离稳定诱发电位与波动背景活动），这使得增强过程更具解释性和针对性，生成的样本质量更高。
3. 专为EEG定制的Transformer模型：AETF不是简单套用原始Transformer，而是根据EEG信号特点，在前面集成了空间和频率滤波模块，并将注意力头数与频率滤波器关联，这种定制化设计更贴合生物信号处理的需求。
4. 在极端挑战条件下验证优势：研究重点验证了方法在“短数据长度”这一对实际高速BCI最关键也最富挑战性场景下的性能，使得研究成果具有更强的实用意义和说服力。
5. 全面的实验分析与可解释性探索：除了性能比较，研究还进行了详尽的消融实验、与传统增强方法的对比、计算成本分析、模型压缩尝试以及注意力可视化，从多角度深入验证和解释了方法的有效性，增加了研究的深度和可靠性。

其他有价值内容

研究还探讨了方法的局限性及未来方向： 1. 计算成本：AETF模型相对复杂，训练耗时较长，对部署的硬件有一定要求。知识蒸馏展示了一条可行的压缩路径，但如何进一步优化模型效率仍是未来课题。 2. 方法普适性：BGMix目前主要适配于深度学习框架，因其依赖混合标签的损失函数计算。如何将其思想拓展至传统机器学习模型，值得探索。 3. 数据增强量的优化：研究发现存在一个最佳增强倍数，超过后性能增益饱和甚至下降，提示需要根据具体场景和数据规模进行调优。 4. 未来扩展：可以探索结合其他Transformer变体、引入多模态学习或迁移学习技术，以进一步提升模型性能与鲁棒性，并扩展到更广泛的EEG-BCI任务中。