Neuroformer：面向脑数据的多模态多任务生成预训练模型学术报告

作者及机构
本研究的核心团队由Antonis Antoniades*、Yiyi Yu、Joseph Canzano、William Wang和Spencer LaVere Smith组成，来自美国加州大学圣塔芭芭拉分校（University of California, Santa Barbara）。研究成果以会议论文形式发表于2024年的ICLR（International Conference on Learning Representations）。

学术背景
随着系统神经科学实验技术的进步，研究者能够同时记录数百至数千个神经元的跨脑区活动（如Yu et al., 2021; Steinmetz et al., 2019），并同步采集行为数据（如眼动、身体运动）。然而，这类多模态、高维数据的分析面临两大挑战：
1. 传统模型的局限性：广义线性模型（GLM, Generalized Linear Model）等传统方法依赖线性假设和泊松发放假设，难以捕捉非线性动态或跨模态关联。
2. 预训练模型的潜力：受视觉与语言领域大模型（如GPT、Transformer）成功的启发，研究者提出将神经活动分析重构为自回归时空生成问题，开发专用于神经科学的生成式预训练模型。

研究目标包括：
- 开发一种能处理多模态神经数据的通用架构（Neuroformer）；
- 验证其模拟神经环路、推断功能连接性的能力；
- 探索其在行为预测等下游任务中的少样本迁移性能。

研究流程与方法
1. 模型设计
- 架构核心：Neuroformer基于Transformer，包含多模态对比对齐（contrastive alignment）、跨模态特征融合（cross-modal fusion）和因果掩码解码（causal masking decoding）三大模块。
- 创新点：
- 线性复杂度：通过限制当前状态（current state）的注意力范围，将计算复杂度从O(T²)降至O(T_c·T_f)，支持高分辨率输入（如原始视频帧）。
- 多模态兼容性：可灵活整合神经活动（spike trains）、视觉刺激（如自然视频）和行为数据（如运动速度）。
- 自监督训练：通过对比损失（contrastive loss）和交叉熵损失（cross-entropy loss）联合优化，无需人工标注。

1. 数据与实验

   • 模拟数据集：
     
     • 使用Brian2模拟器构建包含300个泄漏积分发放神经元（LIF, Leaky Integrate-and-Fire）的环路，其中3个为枢纽神经元（hub neurons）。
       
     • 通过分析注意力权重，验证模型能否推断真实连接方向（图2）。
       
   • 真实数据集：
     
     • 被动视觉任务：记录小鼠初级视觉皮层（V1）和高阶视区（AL）的386个神经元对光栅和自然视频的反应（80k tokens）。
       
     • 视觉导航任务（VisNav）：记录小鼠在虚拟环境中运动时的2022个神经元活动（1M tokens），同步采集速度和眼动数据。
       

2. 关键实验方法

   • 功能连接性分析：通过平均注意力权重矩阵（average attention matrix）量化神经元间的因果关联，优于皮尔逊相关性（Pearson correlation）和格兰杰因果（Granger causality）等传统方法（图9）。
     
   • 行为预测：在预训练后，通过少量样本微调（few-shot fine-tuning）将模型迁移至速度预测任务，对比GLM、MLP和双向GRU等基线模型。
     

主要结果
1. 模拟环路解析
- Neuroformer准确预测了模拟神经元的发放活动（测试集相关性>0.1），并成功识别枢纽神经元的定向连接（图2e），而传统相关性分析仅能发现无向的子网络（图2d）。

1. 真实神经数据建模

   • 性能优势：在V1+AL数据集上，Neuroformer预测的群体响应与真实数据的相关性显著高于GLM（p=0.0196，图3c）。
     
   • 注意力可解释性：跨模态注意力图揭示了神经元对视觉刺激的时空依赖性（图3d），类似于“动态感受野”。
     

2. 行为预测

   • 全数据微调：在VisNav任务中，Neuroformer预测速度的皮尔逊相关系数达0.97（表1），优于双向GRU（0.88）和MLP（0.85）。
     
   • 少样本学习：仅用1%的行为数据微调后，模型性能（r=0.51）仍优于随机初始化模型使用10%数据的结果（r=0.33）（图5b）。
     

结论与价值
1. 科学意义
- 首次将生成式预训练范式引入神经数据分析，证明Transformer架构可捕捉神经环路的时空动态和跨模态关联。
- 注意力机制提供了一种无监督推断功能连接性的新工具，弥补了传统统计方法的方向性缺陷。

1. 应用潜力
   
   • 脑机接口：通过少样本微调实现高精度行为解码，降低实验数据需求。
     
   • 虚拟实验：模型生成的神经活动仿真（96秒连续预测）可替代部分动物实验（图3b）。
     

研究亮点
1. 方法创新：
- 提出“神经令牌化”（neural tokenization）策略，将神经元ID和发放间隔编码为离散令牌，兼容自回归生成。
- 结合对比学习与生成目标，提升模型在低数据场景的鲁棒性（图10）。

1. 跨学科启示：
   
   • 为神经科学与人工智能的交叉研究提供新范式，例如探索Transformer与生物神经环路的相似性（如注意力与突触可塑性的关联）。
     

局限性与展望
1. 当前不足：
- 注意力分析在部分数据集（如多通道模拟）中噪声较高，需结合Grad-CAM等改进方法。
- 与LFADS等潜变量模型相比，生成结果的生物学可解释性有待验证。

1. 未来方向：
   
   • 扩展模型规模以处理更大规模的神经记录（如全脑数据）；
     
   • 探索与大型语言模型的协同（如联合训练神经-语言多模态系统）。
     

（注：文中涉及的术语如“spike trains”译为“脉冲序列”，“contrastive learning”译为“对比学习”，首次出现时标注英文原文。）