这篇文档属于类型a,是一篇关于多区域多任务神经解码的原创研究论文。以下是详细的学术报告内容:
本研究由来自Georgia Tech和Mila的研究团队合作完成,主要作者包括Mehdi Azabou、Krystal Xuejing Pan、Vinam Arora、Ian Knight、Eva L. Dyer和Blake Richards。论文以“Multi-Session, Multi-Task Neural Decoding from Distinct Cell-Types and Brain Regions”为题,发表于ICLR 2025会议。
研究领域:本研究属于计算神经科学领域,聚焦于神经解码(neural decoding)技术,旨在通过分析神经活动推断行为、感知或思维。近年来,随着Transformer架构的兴起,大规模神经解码模型展现出潜力,但跨脑区、跨细胞类型的解码仍面临挑战。
研究动机:神经环路具有高度异质性,不同脑区和细胞类型对相同刺激的响应差异显著。此前研究多局限于单一脑区或细胞类型,而本研究试图探索是否可以通过预训练和迁移学习实现跨区域、跨细胞类型的神经解码。
研究目标:开发一种多任务Transformer架构(Poyo+),利用Allen Institute的Brain Observatory数据集(包含小鼠视觉皮层6个脑区、13种基因定义的细胞类型的11万个神经元数据),验证跨任务、跨脑区和跨细胞类型的迁移学习可行性。
数据集:
- 使用Allen Brain Observatory数据集,包含256只小鼠的1335个记录会话,覆盖6个视觉皮层区域(VISp、VISpm、VISam、VISrl、VISal、VISl)和13种细胞类型(兴奋性和抑制性神经元)。
- 数据通过双光子钙成像(two-photon calcium imaging)采集,记录小鼠对不同视觉刺激(如漂移光栅、自然场景、电影片段)的神经响应。
模型架构(Poyo+):
- 输入表征(Tokenization):将钙信号时间序列转换为神经元-时间步长的联合表征,每个token包含神经元特异性嵌入(uj)和信号幅度(wf fij)。
- 编码器(Encoder):基于改进的Poyo架构,通过交叉注意力层将神经元活动压缩为低维潜在空间,生成128维的潜在表征(zmn)。
- 多任务解码器(Multi-Task Decoder):通过任务特定嵌入(ϕk)和会话嵌入(sℓ)动态查询潜在空间,支持连续(如奔跑速度)和离散(如刺激分类)解码任务。
训练策略:
- 采用多任务联合训练,损失函数包括均方误差(回归任务)和交叉熵(分类任务)。
- 使用LAMB优化器,在8块NVIDIA H100 GPU上训练300个epoch,全局批次大小为4800。
迁移学习验证:
- 跨脑区迁移:在30只未参与训练的小鼠中,测试模型从VISp到其他脑区的迁移性能。
- 跨细胞类型迁移:分别训练兴奋性(exc)、抑制性(inh)和混合(all)细胞类型的模型,评估解码能力。
- 跨数据集验证:在OpenScope和 hippocampus数据集上测试模型泛化性。
科学意义:
1. 首次证明跨脑区、跨细胞类型的大规模神经解码可行性,揭示了神经环路间共享的计算原则。
2. 潜在表征自发编码解剖和生理信息,为研究神经环路异质性提供了无监督分析工具。
应用价值:
1. 为脑机接口(BCI)和深部脑刺激(DBS)提供了通用解码框架。
2. 通过算法整合多实验数据,助力神经科学中的跨研究比较。
https://poyo-plus.github.io。(全文约2000字,完整覆盖研究背景、方法、结果与价值)