基于脉冲神经网络的脑机接口神经解码框架Spikachu研究报告

作者及发表信息

本研究由Georgios Mentzelopoulos、Ioannis Asmanis、Konrad P. Kording、Eva L. Dyer、Kostas Daniilidis和Flavia Vitale共同完成，作者团队来自University of Pennsylvania和Archimedes, Athena RC。该研究发表于第39届Neural Information Processing Systems会议(NeurIPS 2025)。

学术背景

本研究属于脑机接口(Brain-Computer Interface, BCI)与计算神经科学交叉领域。当前神经解码器面临三大挑战：1) 简单因果模型泛化能力不足；2) 复杂非因果模型难以实时应用；3) 传统人工神经网络(Artificial Neural Networks, ANNs)能耗过高。脉冲神经网络(Spiking Neural Networks, SNNs)因其因果性和低能耗特性成为理想替代方案，但此前尚未有能同时满足可扩展性、因果性和能效要求的SNN解码框架。

研究团队旨在开发一个统一的神经解码框架Spikachu，解决以下关键问题：1) 实现跨会话、跨被试的神经信号解码；2) 保持实时处理能力；3) 显著降低能耗；4) 支持小样本迁移学习。该研究在6只非人灵长类动物(Non-Human Primates, NHPs)的113个记录会话(总计43小时数据)上验证了框架的有效性。

研究方法与流程

1. 神经信号标准化处理

研究采用微电极阵列(Microelectrode Arrays, MEAs)记录的神经元放电数据。针对电极漂移和跨被试差异，开发了创新的信号标准化流程：

• 标记化处理：将每个记录单元(unit)表示为R^d空间中的可学习嵌入向量，通过unitemb查找表实现。对于包含n_u个单元的滑动时间窗(0.01秒)，生成序列x∈R^(n_u×d)。

• 共享潜在空间投影：使用Perceiver编码器将神经活动序列x投影到跨会话共享的潜在空间。通过交叉注意力机制，将变长输入转换为固定长度(n_0=64)的潜在表示z_1∈R^(n_0×d)，再线性投影为n_v=256维”虚拟单元”z_2∈R^n_v。

2. 脉冲神经网络架构

核心解码器采用多尺度SNN架构：

• 多时间尺度特征提取：并行部署p=4个SNN前馈网络，每个网络具有独立的LIF神经元时间常数(τ∈[2,16]ms)，通过公式z^(l+1)=BN(W^l SN^l(z^l))逐层提取特征，输出拼接为z_ms∈R^(p×d_s)。

• 脉冲自注意力机制：借鉴SpikFormer设计，计算脉冲自注意力矩阵SSA’=SN(qk^Tv·s)，其中q,k,v通过独立的脉冲激活函数生成。该模块包含6层，每层d_ssa=256维。

• 时空特征压缩：将z_ssa∈R^(p×d_ssa)展开后通过3层SNN-MLP压缩为d_mlp=128维表示，再经p’=4个并行SNN处理不同时间尺度信息。

• 连续输出解码：采用无脉冲的膜电位观测层(sn_obs)将脉冲活动转换为连续行为预测，适用于光标速度等连续变量解码。

3. 实验设计与评估

研究采用两个公开电生理数据集(Perich et al.和Pei et al.)，包含4种行为任务：

• 单会话训练：在99个记录会话(3只NHPs)上独立训练模型，评估中心-外(CO)和随机目标(RT)任务的解码性能(R^2)与能耗(μJ/推理)。

• 多会话预训练：构建统一模型Spikachu-MP，在99个会话(40小时数据)上预训练，然后微调至单个会话。

• 跨被试迁移：将预训练模型迁移至新被试(猴T)的12个会话，评估少样本适应能力。

• 跨任务泛化：在MC-RTT和MC-Maze任务上测试框架的泛化性。

能耗评估基于浮点运算次数(FLOPs)转换，采用Bal和Sengupta(2024)的标准方法。基线模型包括LSTM、MLP、GRU和Poyo的因果/非因果版本。

主要研究结果

1. 单会话解码性能

在CO和RT任务中，Spikachu平均R^2分别达到0.84和0.68，显著优于因果基线(GRU:0.⁸³⁄₀.67)。能耗方面表现突出： - 相比GRU(第二高效)节能2.26倍(5.14 vs 11.65μJ) - 相比最佳性能的Poyo节能418.81倍(5.14 vs 2151.65μJ) - 内存访问成本也低于所有基线(附录F.5)

2. 多会话预训练优势

Spikachu-MP经微调后： - 性能提升：CO任务ΔR^2=+3.75%(0.88 vs 0.84)，RT任务ΔR^2=+1.71%(0.69 vs 0.68) - 能效提升：CO/RT任务分别节能1.91%和2.01% - 训练收敛速度加快3-4倍(达到90%最大R^2所需epoch)

3. 跨被试迁移表现

在新被试(猴T)上： - 直接迁移性能优于从头训练(CO:0.78 vs 0.76; RT:0.68 vs 0.66) - 节能3.63-3.71%(4.79 vs 4.97μJ) - 收敛速度快3-4倍

4. 跨任务泛化能力

在MC-RTT和MC-Maze任务中： - 保持与SOTA相当的性能(RTT:0.56; Maze:0.78) - 节能2.25-3.03% - 训练速度提升2.33-2.66倍

5. 规模效应分析

随着预训练数据量增加(20→49→75→99会话)： - 所有迁移场景(已见会话/新会话/新被试)性能持续提升 - 能效同步改善 - 呈现明显的规模-效益正相关(图5)

研究结论与价值

科学价值

1. 理论创新：首次证明SNN可同时实现高性能解码与超低能耗，打破”性能-能效权衡”的传统认知。
2. 方法突破：开发了首个支持多会话、多被试训练的SNN解码框架，创新性地结合了Transformer与SNN优势。
3. 神经编码见解：通过虚拟单元和共享潜在空间的构建，为跨被试神经信号对齐提供了新思路。

应用价值

1. 临床BCI：5μJ/推理的能效使完全植入式设备成为可能，有望延长电池寿命5-10倍。
2. 快速校准：跨被试迁移能力可将校准时间从数小时缩短至数分钟。
3. 硬件兼容：模型规模(<4M突触，约10k神经元)适配现有神经形态芯片(如Loihi 2)。

研究亮点

1. 能效突破：相比传统ANN解码器实现2-3个数量级的能耗降低，为迄今最节能的高性能神经解码框架。
2. 架构创新：
   • 脉冲自注意力模块(Spiking Self-Attention)实现长程依赖捕捉
   • 多时间尺度并行处理模拟生物神经系统特性
   • 膜电位观测层实现脉冲-连续信号转换
3. 可扩展性验证：在迄今最大规模的跨会话NHP数据集(113会话，43小时)上验证了框架的有效性。
4. 开源贡献：公开了预训练模型和代码(https://spikachu-bci.github.io)，促进领域发展。

未来方向

1. 全脉冲架构：当前15%的ANN模块(如Perceiver)仍是能耗主要来源，未来可用脉冲注意力完全替代。
2. 神经形态部署：在Loihi 2等芯片上实现实时解码，已有研究证明可行性(Liao et al., 2024)。
3. 临床转化：需验证在人类ECoG/LFP信号上的表现，目前团队已在立体定向EEG(sEEG)解码中取得进展(Mentzelopoulos et al., 2024)。

该研究为脑机接口从实验室走向临床应用提供了关键的能效解决方案，同时为SNN在复杂时序任务中的应用树立了新标杆。