分享自:

大规模神经编码与解码的统一模型

期刊:Proceedings of the 42nd International Conference on Machine Learning

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


大规模神经编码与解码的统一模型:NEDS的研究突破

一、作者与发表信息

本研究由来自Columbia UniversityUniversity of PennsylvaniaNorthwestern UniversityThe International Brain Laboratory (IBL)的多位学者合作完成,主要作者包括Yizi ZhangYanchen WangMehdi Azabou等,所有贡献者均标注为同等贡献(*equal contribution*)。研究发表于Proceedings of the 42nd International Conference on Machine Learning (PMLR 267),会议于2025年在加拿大温哥华举行。

二、学术背景

研究领域:本研究属于系统神经科学(systems neuroscience)机器学习交叉领域,聚焦于神经活动与行为之间的双向关系建模。

研究动机:传统的大规模神经数据分析方法仅能单向预测——或从行为预测神经活动(编码,encoding),或从神经活动预测行为(解码,decoding)。这种局限性阻碍了对神经-行为双向动态关系的全面理解。

科学问题:如何构建一个统一的、可扩展的模型,同时实现高精度的神经编码与解码?

目标:开发一种名为NEDS(Neural Encoding and Decoding at Scale)的多模态、多任务模型,通过创新的掩码策略(masking strategy)整合编码与解码任务,并验证其在跨动物数据集上的泛化能力。

三、研究流程与方法

1. 数据集与预处理
  • 数据来源:采用IBL重复位点数据集(IBL repeated site dataset),包含83只小鼠执行相同视觉决策任务时的神经活动记录(Neuropixels探针采集)和行为数据(视频追踪)。
  • 样本量:73只动物用于预训练,10只用于测试;共27,380个神经元,覆盖225个脑区。
  • 数据预处理
    • 神经活动:按20ms时间窗分箱,剔除发放率 Hz的神经元,对齐试验时间(2秒/试验)。
    • 行为变量:包括胡须运动能量(whisker motion)、轮速(wheel velocity)、选择(left/right)和任务区块先验(block prior)。
2. 模型架构与训练

核心创新:提出多任务掩码策略(multi-task-masking),交替应用以下四种掩码模式:
1. 神经掩码(neural masking):掩盖神经活动,从行为预测神经活动(编码任务)。
2. 行为掩码(behavior masking):掩盖行为变量,从神经活动预测行为(解码任务)。
3. 模态内随机掩码(within-modality masking):在单一模态(神经或行为)内随机掩盖并重建数据。
4. 跨模态随机掩码(cross-modal masking):跨神经与行为模态随机掩盖并联合重建。

模型实现
- 架构:基于Transformer的多模态模型,包含独立的模态分词器(tokenizer)、共享的Transformer编码器和模态特定解码器。
- 关键设计
- 引入旋转位置嵌入(rotary position embedding, RoPE)以捕捉时序信息。
- 使用会话特定嵌入(session embedding)适应多动物数据差异。
- 训练目标:通过混合损失函数(泊松负对数似然用于神经活动,均方误差/交叉熵用于行为变量)优化模型。

3. 实验设计
  • 基准对比:与线性模型、降秩回归(RRR)、POYO+(解码专用)和NDT2(自监督神经预测)等现有方法对比。
  • 评估指标
    • 编码性能:比特/峰值(bits per spike, bps)。
    • 解码性能:分类准确率(choice/block)或单试验R²(wheel/whisker)。

四、主要结果

1. 单会话与多会话性能
  • 单会话训练:NEDS在编码和解码任务上均优于线性基线(如轮速解码R²提升7%),且多模态训练显著优于单模态(编码性能提升5%)。
  • 多会话预训练:在74个会话上预训练的NEDS,经微调后在10个测试动物中表现最优:
    • 编码:bps达0.27±0.03,显著高于单会话模型(0.20±0.00)。
    • 解码:选择预测准确率91%(POYO+为90%),轮速解码R²提升13%(图3)。
2. 任务变量贡献分析

通过单独掩码行为变量,发现运动相关变量(轮速、胡须运动)对神经活动的解释力强于认知变量(选择、区块先验),与IBL既往研究一致(表1)。

3. 神经元嵌入的涌现特性

意外发现:NEDS的神经元嵌入(neuron embedding)无需显式训练即可高精度预测神经元所属脑区(分类准确率83%),表明模型自发学习了脑区特异性表征(图4)。

五、结论与价值

科学意义
  1. 方法论突破:NEDS首次实现神经编码与解码的统一框架,为理解神经-行为双向关系提供了新工具。
  2. 跨动物泛化:证明大规模预训练可提升模型对新动物的适应性,支持“神经基础模型(foundation model of the brain)”的可行性。
  3. 涌现特性:神经元嵌入的脑区预测能力提示模型捕获了神经元的空间与功能组织规律。
应用前景
  • 脑机接口(BCI):高精度双向预测可优化实时控制与反馈系统。
  • 神经疾病研究:为异常神经-行为关联的量化分析提供新范式。

六、研究亮点

  1. 多任务掩码策略:通过交替掩码模式统一编码与解码任务,性能超越专用模型(如POYO+)。
  2. 可扩展性:模型性能随预训练数据量增加而提升(scaling law)。
  3. 跨模态表征学习:神经元嵌入的涌现特性为无监督脑区分类开辟新途径。

七、其他价值


此报告全面涵盖了研究的背景、方法、结果与意义,突出其创新性与潜在影响,可作为同行学者了解该工作的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com