神经数据变换器（Neural Data Transformers, NDT）在神经群体活动表征学习中的应用研究

作者与机构

本研究由Joel Ye（佐治亚理工学院交互计算学院）与Chethan Pandarinath（埃默里大学与佐治亚理工学院联合生物医学工程系）合作完成，研究论文发布于预印本平台arXiv（2021年8月）。研究得到了美国国家科学基金会（NSF）、DARPA、NIH等机构的资助。

学术背景

研究领域：本研究属于计算神经科学与机器学习的交叉领域，聚焦于神经群体活动的动态建模。传统观点认为，神经群体活动反映了潜在的动力学结构（dynamical structure），此类结构通常通过显式动力学模型（如基于循环神经网络RNN的模型）捕获。然而，RNN的时序处理特性导致其在实时应用（如脑机接口）中存在延迟问题。

研究动机：
1. 技术瓶颈：RNN需顺序处理数据，难以满足实时性需求（如脑机接口要求毫秒级响应）。
2. 范式迁移：自然语言处理领域已从RNN转向并行化的Transformer架构，但其在神经科学中的应用尚未充分探索。
3. 数据特性挑战：神经尖峰信号（spiking activity）的统计特性与语言数据差异显著，需针对性改进模型。

研究目标：提出神经数据变换器（NDT），验证其在自主动力学系统中建模神经群体活动的性能，并评估其推理速度优势。

研究流程与方法

1. 模型设计与训练

核心架构：
- NDT基于BERT编码器，但针对神经数据特点进行改进：
- 输入处理：将多电极记录的尖峰信号分箱（binned spikes）作为输入，输出推断的放电率（firing rates）。
- 损失函数：采用泊松似然损失（Poisson likelihood loss），替代语言模型中常用的交叉熵损失。
- 掩码训练（masked modeling）：随机掩码部分时间步的输入，要求模型通过上下文预测被掩码的神经活动（类似BERT的掩码语言建模）。

关键改进：
- 零掩码策略：用零值替代掩码时间步，而非特殊标记，以减少训练与推理的分布偏移。
- 强正则化：针对小规模神经数据集，采用高dropout比率（0.2–0.6）稳定训练。

2. 实验验证

数据集：
- 合成数据：
- Lorenz系统：生成3维动力学轨迹，投影至高维空间模拟神经元放电率，再通过泊松采样生成尖峰信号（1560 trials，29通道）。
- 混沌RNN：基于随机初始化的RNN生成更复杂的动力学（1300 trials，50通道）。
- 真实数据：猴运动皮层（M1）在延迟到达任务中的记录（202个神经元，2296 trials），用于验证行为相关性。

对比模型：
- 基线模型：基于RNN的LFADS（Latent Factor Analysis via Dynamical Systems），此前在神经动力学建模中表现最优。
- 评估指标：
- 合成数据：推断放电率与真实生成率的相关系数（R²）。
- 真实数据：与经验PSTH（peri-stimulus time histogram）的匹配度、行为解码精度（通过线性回归预测手部运动轨迹）。

3. 性能分析

合成数据结果：
- NDT与LFADS在Lorenz系统（NDT R²=0.934 vs LFADS R²=0.921）和混沌RNN（NDT R²=0.846 vs LFADS R²=0.869）上表现接近，表明NDT可准确捕获自主动力学。
- 似然与真实结构的关联：NDT的似然损失与真实放电率恢复度高度相关（图4b），验证其掩码策略的有效性。

真实数据结果：
- 单试次一致性：NDT推断的放电率在相同行为条件下跨试次方差低于传统平滑方法（图5a）。
- 行为解码：NDT解码手部运动轨迹的R²达0.918，与LFADS（0.915）相当，显著优于尖峰平滑基线（图5c）。
- 小数据效率：仅需92个训练试次时，2层NDT仍保持较高解码性能（R²=0.866），优于LFADS（图5d）。

4. 效率优势

• 推理速度：NDT在70时间步输入下的推理延迟仅3.9毫秒，比LFADS（26毫秒）快6.7倍（图6b）。
  
• 并行化优势：NDT的推理时间几乎不随序列长度增加，而RNN类模型呈线性增长。
  

结论与价值

科学意义：
1. 理论突破：证明显式动力学模型（如RNN）并非神经群体活动建模的必要条件，Transformer可通过并行机制高效捕获动态结构。
2. 方法创新：NDT为神经科学引入Transformer范式，填补了该领域与机器学习前沿的鸿沟。

应用价值：
- 实时脑机接口：NDT的毫秒级推理速度可满足闭环控制需求（如神经假肢或闭环刺激）。
- 小数据适配性：通过调整模型深度（如2层NDT），可在有限数据下保持性能，适用于实验神经科学常见的小样本场景。

研究亮点

1. 跨领域迁移：首次将Transformer成功应用于神经尖峰信号建模，解决RNN的时序瓶颈。
   
2. 技术适配性：针对神经数据特性改进训练策略（如零掩码、泊松损失），确保模型鲁棒性。
   
3. 开源贡献：代码公开于GitHub（github.com/snel-repo/neural-data-transformers），推动领域复现与拓展。
   

局限与展望

• 非自主动力学：NDT当前仅适用于自主系统（无外部输入干扰），未来需扩展至非自主场景（如感觉运动整合）。
  
• 理论解释性：Transformer的注意力机制如何编码神经动力学尚不明确，需结合非线性系统理论进一步分析。
  

此研究为神经计算模型提供了新范式，其并行化优势与可扩展性有望推动实时神经技术的发展。