《biomedical signal processing and control》期刊于2025年发表了一篇题为“TSMNet: A comprehensive network based on spatio-temporal representations for SSVEP classification”的研究论文。本报告旨在向中文科研同仁全面介绍这项研究工作。
一、 主要作者、机构及发表信息
本研究的主要作者包括Liu Deng、Pengrui Li、Haokai Zhang、Qingyuan Zheng、Shihong Liu、Xinmin Ding、Manqing Wang和通讯作者Dongrui Gao。作者单位包括成都信息工程大学计算机学院、电子科技大学生命科学与技术学院、四川伯睿恩脑科技有限公司以及四川大学华西天府医院。该研究发表于期刊《biomedical signal processing and control》（第105卷，2025年，论文编号107554）。
二、 研究的学术背景
本研究属于脑机接口（Brain-Computer Interface， BCI）与生物医学信号处理领域，具体聚焦于基于稳态视觉诱发电位（Steady-State Visual Evoked Potentials， SSVEP）的脑电（Electroencephalogram， EEG）信号分类问题。SSVEP-BCI因其高信噪比和信息传输率而成为一种广受欢迎的范式，但其实际应用仍面临挑战：一方面，低频率的视觉刺激易导致被试者视觉疲劳并引入噪声；另一方面，为实现快速、实时的目标识别，需要设计鲁棒且高精度的算法。
当前，针对SSVEP的分类方法主要分为传统机器学习方法（如典型相关分析CCA及其变体）和深度学习方法。尽管深度学习方法（如EEGNet、基于傅里叶变换的卷积神经网络CNN）取得了良好性能，但仍存在局限。特别是，大多数现有深度学习模型未能充分考虑EEG信号通道间固有的空间拓扑结构。它们通常仅关注数据的时域和局部空间关系，难以捕捉通道间复杂的拓扑特征，从而限制了分类性能的提升。尽管已有研究尝试引入图卷积神经网络（Graph Convolutional Neural Network， GCNN）来建模通道关系，但在面对个体数据量有限（被试内数据不足）时，其性能仍受到限制。
基于此，本研究旨在解决两个核心问题：1）现有方法对EEG信号通道间内在关联表达不足；2）被试内数据量有限可能导致模型过拟合。为此，研究者提出了一种基于时空域表示的综合网络TSMNet，其目标是捕获纯净的高阶时间依赖表示，并对多通道表示进行建模、动态更新拓扑结构，以提升SSVEP分类的准确性和鲁棒性。
三、 详细研究流程
本研究主要包含五个核心流程：模型（TSMNet）设计与构建、公开数据集准备与预处理、模型性能评估与对比实验、模型特征可视化分析以及消融实验。
流程一：TSMNet模型设计与构建 TSMNet是一个端到端的深度学习框架，主要由四个部分组成： 1. 时间特征提取器 (Temporal Feature Extractor)：该模块由一层卷积构成，使用1×10的卷积核，旨在滤除时域噪声，并通过加权平均时域信息来捕获纯净的高阶时间依赖表示，同时降低后续空间拓扑转换器的计算负担。使用批归一化（BatchNorm）和PReLU激活函数进行处理。 2. 空间拓扑转换器 (Spatial Topology Converter)：这是一个基于图卷积神经网络的模块，用于有效捕捉EEG信号的高阶空间拓扑表示。其核心思想是将每个EEG通道视为图节点。首先，根据通道数量预生成归一化的拉普拉斯矩阵。然后，使用切比雪夫多项式进行近似计算，执行图卷积操作（参数K控制多项式阶数），以实现空间滤波并使图网络能够自动更新邻接矩阵的值，从而获得自适应的邻接矩阵。随后，使用1×1卷积层学习经过图滤波的特征，并通过PReLU激活函数确保输入到下一模块的特征为非负。 3. 多图子空间模块 (Multigraph Subspace Module)：该模块基于多头自注意力机制，旨在将空间拓扑转换器输出的特征映射到多个子空间中以学习更丰富的特征。在每个子空间中，通过计算查询（Query）、键（Key）、值（Value）向量之间的点积相似度得分，经缩放和Softmax归一化后，与值向量加权求和得到该子空间的输出。最后，将所有子空间的输出拼接起来，形成最终的复合表示。 4. 标签平滑技术 (Label Smoothing)：为缓解被试内数据有限可能导致的模型过拟合和过度自信问题，研究者设计了一种基于标签平滑的损失函数。在传统的独热编码（目标标签为1，其余为0）基础上，为每个非目标标签分配一个特定的小分值（由参数σ和η控制），形成一个分数矩阵。在训练时，将基于标签平滑的交叉熵损失和基于独热编码的交叉熵损失进行加权组合（权重θ设为0.5），构成总损失函数，以此作为网络训练的目标。
流程二：公开数据集准备与预处理 研究使用了两个公开的SSVEP数据集进行评估。 * 数据集A：来自Nakanishi等人，包含10名健康被试的数据。刺激界面为4×3矩阵（12个目标），采样频率下采样至256 Hz。使用8个枕区电极。每个被试进行15次实验（块），每次实验包含对12个目标的注视，数据时长4秒。共计180次试验。预处理包括：6-80 Hz带通滤波，并扣除前135毫秒的视觉延迟数据。 * 数据集B：来自Wang等人，包含35名健康被试的数据。刺激界面为5×8矩阵（40个目标），采样频率下采样至250 Hz。研究选取了9个枕区和顶区的电极。每个被试进行6次实验块，每次实验包含对40个目标的注视，数据时长5秒。共计240次试验。预处理包括：6-64 Hz带通滤波，并扣除前140毫秒的视觉延迟数据。
对于被试内（Within-Subject）实验，数据被划分为两种规模：大规模（训练集:测试集 = 9:1）和小规模（5:5）。采用10折交叉验证以确保结果稳健。对于跨被试（Cross-Subject）实验，采用留一被试交叉验证法。
流程三：模型性能评估与对比实验 实验设置了两个时间窗口（0.5秒和1.0秒）来评估模型在不同数据长度下的性能。评价指标为分类准确率和信息传输率（Information Transfer Rate， ITR）。 研究者将TSMNet与多种先进方法进行了全面对比，包括传统方法：个体模板典型相关分析（ITCCA）、任务相关成分分析（TRCA）；深度学习方法：基于傅里叶变换的CNN（C-CNN）、滤波器组CNN（FBCNN）、基于多头自注意力的EEG-ConvTransformer、跨被试模型DG-Conformer、图像编码CNN（Image-encoded-CNN）以及动态分解图卷积神经网络（DDGCNN）。实验在相同的数据集划分和预处理条件下进行，以确保对比的公平性。
流程四：模型特征可视化分析 为了探究TSMNet的特征提取能力及其可解释性，研究采用了t分布随机邻域嵌入（t-SNE）技术对模型学习到的特征进行降维可视化。 1. 整体特征对比：将TSMNet与性能最好的基线深度学习方法（FBCNN）在数据集A上1秒时间窗口的特征进行t-SNE可视化对比，观察类间分离度和类内紧密度。 2. 模块贡献可视化：分别对移除时间特征提取器、空间拓扑转换器或多图子空间模块后的网络结构（Struct A， B， C）在特定被试数据上提取的特征进行t-SNE可视化，直观展示各模块对特征聚类效果的影响。 3. 脑地形图与时空表征可解释性：以数据集A的被试1为例，展示了TSMNet学习到的在不同视觉刺激下的大脑激活状态脑地形图。此外，还可视化分析了在连续四个时间片段下，不同刺激类别对应的大脑枕区八个通道之间的依赖关系和变化模式，以解释模型学习到的时空动态特征。
流程五：消融实验 为定量评估TSMNet中各个核心模块的有效性，研究者进行了系统的消融实验。通过分别移除时间特征提取器（得到Struct A）、空间拓扑转换器（Struct B）和多图子空间模块（Struct C），在数据集A上对比了完整TSMNet与这些简化结构在0.5秒和1.0秒时间窗口、大规模和小规模数据划分下的分类准确率。
四、 主要研究结果
流程三结果：性能对比 在被试内实验中，TSMNet在两个数据集、两种时间窗口和两种数据划分下，均取得了最优或极具竞争力的平均分类准确率。 * 数据集A（1秒窗口）：在大规模划分（9:1）下，TSMNet准确率达96.88% ± 3.7%，显著优于其他所有方法（如TRCA: 95.00%， DDGCNN: 94.12%）。在小规模划分（5:5）下，准确率为92.67% ± 7.38%。配对t检验表明，TSMNet与多数对比方法存在显著差异（p < 0.05）。其ITR最高可达168.81 bits/min。 * 数据集B（40个目标，更具挑战）：在1秒窗口大规模划分下，TSMNet准确率为86.21% ± 7.41%，同样领先于其他方法（如DDGCNN: 85.00%， EEG-ConvTransformer: 85.54%）。这表明TSMNet在处理多目标分类任务时具有优势。 * 0.5秒短时间窗口：所有方法的性能均有下降，但TSMNet仍然保持领先，例如在数据集A大规模划分下准确率为90.65% ± 8.36%，验证了其在快速响应场景下的有效性。 * 跨被试实验：虽然所有方法的性能均低于被试内实验，但TSMNet在两个数据集上的平均准确率（数据集A: 84.76%， 数据集B: 73.95%）仍优于对比的C-CNN和FBCNN，显示了其相对更好的跨被试泛化潜力。 * 测试集运行时间：在1秒窗口下，TSMNet在数据集A和B上的测试时间分别为3.4秒和4.1秒，低于大多数对比模型（如EEG-ConvTransformer的7.9秒和8.5秒），表明其具有嵌入实时系统的潜力。
流程四结果：特征可视化分析 * t-SNE可视化表明，与FBCNN相比，TSMNet提取的特征在降维后具有更清晰的类间分离和更紧密的类内聚合。 * 模块贡献可视化显示，移除空间拓扑转换器（Struct B）对特征聚类效果的破坏最为严重，导致特征点混杂，这表明该模块对于提取判别性空间拓扑信息至关重要。 * 脑地形图显示，TSMNet学习到的不同刺激类别下的脑激活模式存在差异，例如第12类刺激激活最强，而第4、7类激活较弱，这与不同被试对特定频率刺激的敏感性差异相符，模型捕捉到了这种神经活动差异。 * 时空依赖关系可视化揭示，对于不同刺激类别，大脑枕区通道间的依赖关系在时间维度上呈现动态变化。例如，第4、6类刺激在前两个时间片段表现出更强相关性，而第5、10类则在后面两个时间片段相关性更强。这证明了TSMNet能够有效学习SSVEP信号在时空维度上的复杂关联特征。
流程五结果：消融实验 消融实验定量证实了各模块的重要性。在数据集A的1秒时间窗口大规模划分下： * 完整TSMNet准确率：96.88% * 移除空间拓扑转换器（Struct B）：87.23%（下降9.65个百分点） * 移除多图子空间模块（Struct C）：90.75%（下降6.13个百分点） * 移除时间特征提取器（Struct A）：93.45%（下降3.43个百分点） 结果表明，空间拓扑转换器对网络整体性能贡献最大，其次是多图子空间模块。这从数据上支撑了研究者的核心设计动机——有效建模空间拓扑关系是提升SSVEP分类性能的关键。
五、 研究结论与价值
本研究成功提出了一种新颖的基于时空域表示的深度学习目标识别网络——TSMNet，用于SSVEP分类。其主要结论和价值体现在： 1. 方法有效性：TSMNet通过时间特征提取器、空间拓扑转换器、多图子空间模块的协同工作，能够有效提取EEG信号中纯净的高阶时间依赖特征和复杂的空间拓扑特征。在两个公开SSVEP数据集上的广泛实验证明，其分类性能显著优于当前最先进的方法。 2. 核心贡献：研究强调了建模EEG通道间动态空间拓扑结构对于提升SSVEP解码性能的极端重要性。空间拓扑转换器被证明是TSMNet中贡献最大的组件。 3. 技术创新：提出的标签平滑损失函数有助于缓解小样本下的过拟合问题。同时，研究通过t-SNE、脑地形图和时空依赖可视化，增强了这种“端到端”黑箱模型的可解释性，展示了其学习到的与神经科学认知相符的特征。 4. 应用价值：TSMNet作为一个端到端框架，无需耗时的手工特征工程，且测试运行时间较短，为将其嵌入实时、高效的SSVEP-BCI在线系统提供了可能性，对推动脑机接口的实际应用具有重要意义。
六、 研究亮点
七、 其他有价值内容
研究在讨论部分也坦诚指出了当前工作的局限性及未来方向：1）跨被试性能仍有较大提升空间，未来可引入领域自适应技术；2）仅在两个离线公开数据集上验证，未来需在更多数据集（如Benchmark数据集）及在线系统中测试；3）尽管做了解释性尝试，但深度学习模型的可解释性仍是长期挑战，需结合更多神经科学先验进行模型设计和分析。这些思考为后续研究指明了有价值的探索路径。