这篇文档属于类型a，即报告了一项原创性研究。以下是针对该研究的学术报告：

BrainOmni：首个统一EEG与MEG信号的脑基础模型

作者与机构
本研究由Qinfan Xiao（清华大学电子工程系、上海人工智能实验室）、Ziyun Cui（清华大学电子工程系、上海人工智能实验室）、Chi Zhang（清华大学电子工程系、上海人工智能实验室）等共同完成，通讯作者为Chao Zhang（清华大学电子工程系、上海人工智能实验室）。合作单位包括英国剑桥大学心理学系、伦敦大学学院等。该研究发表于第39届NeurIPS（Conference on Neural Information Processing Systems）2025。

学术背景
脑电图（Electroencephalography, EEG）和脑磁图（Magnetoencephalography, MEG）是两种非侵入式神经活动测量技术，分别通过捕捉头皮电位和颅外磁场信号反映大脑活动。尽管两者共享相同的生物物理基础，但由于传感器配置、信号模式差异以及设备异构性，现有研究通常针对单一模态或特定数据集开发独立模型，导致跨模态和跨设备的泛化能力受限。

本研究旨在解决两大挑战：
1. 跨模态整合：EEG和MEG信号模式差异显著，需统一表征；
2. 跨设备泛化：不同厂商的电极/传感器布局、命名规范不统一，尤其是MEG设备的梯度计（gradiometer）与磁强计（magnetometer）混合配置问题。

研究目标是通过自监督预训练构建首个支持EEG与MEG的统一基础模型（foundation model），实现跨模态、跨设备的通用神经表征学习。

研究流程与方法
研究分为两个核心阶段：

第一阶段：Braintokenizer开发
1. 数据统一化：
- 数据来源：从公开数据集收集1,997小时EEG和656小时MEG数据，涵盖19-128通道EEG设备和157-306通道MEG设备。
- 预处理：包括0.1-96 Hz带通滤波、50/60 Hz工频陷波、坏道插值、全局平均参考校正（global average referencing）及样本级标准化。

1. 信号离散化：
   
   • Braintokenizer架构：基于掩码自编码器（masked autoencoder）框架，包含以下模块：
     
     • SEANet编码器：通过一维卷积提取时域特征，输出时序表示( z_{\text{time}} \in \mathbb{R}^{c \times w \times d} )。
       
     • 传感器编码器（Sensor Encoder）：创新性模块，融合传感器物理属性（空间坐标、方向、类型）生成传感器嵌入( v \in \mathbb{R}^{c \times d} )。
       
     • 交叉注意力（Cross-Attention）：将时序表示与传感器嵌入融合，压缩为固定数量的潜在源变量（latent source variables）( z_{\text{src}} \in \mathbb{R}^{c’ \times w \times d} )。
       
     • 残差向量量化（RVQ）：对潜在变量离散化，生成4层码本索引( q \in \mathbb{R}^{c’ \times w \times 4} )。
       
   • 重构器（Reconstructor）：逆向解码离散令牌为原始信号，损失函数包括时域L1损失、频域幅相损失、Pearson相关系数损失及RVQ码本更新损失。
     

第二阶段：BrainOmni预训练
1. 模型架构：基于Criss-Cross Transformer，联合建模时空依赖：
- 输入：Braintokenizer生成的30秒信号令牌，随机掩码50%位置。
- 空间-时间注意力分离：特征维度分为两半，分别计算空间和时间注意力，辅以旋转位置编码（RoPE）。
2. 训练目标：非自回归预测被掩码的RVQ层索引，使用交叉熵损失。

实验结果
1. 下游任务性能：
- 在11个下游数据集（涵盖阿尔茨海默病诊断、抑郁症分类、运动想象等任务）中，BrainOmni_base模型均优于基线：
- EEG任务：AD65数据集（阿尔茨海默病分类）平衡准确率（BACC）达82.8%，较最佳基线LabRAM提升11.7%。
- MEG任务：ASD74（自闭症谱系分类）BACC为65.1%，超越专用模型SPARCNet 4.7%。
- 多模态任务（Somatomotor）：联合EEG-MEG输入BACC达86.3%，较单模态提升8-10%。

1. 跨设备泛化：

   • 零样本重建测试中，未见过的EEG设备（SynAmps2系统）重建Pearson相关系数（PCC）达0.802，优于训练集内设备（PCC=0.748）。
     

2. 联合训练效益：

   • 单一模态预训练（EEG-only或MEG-only）性能显著低于联合训练（EMEG），尤其在MEG任务中，ASD74数据集BACC提升12%。
     

结论与价值
1. 科学意义：
- 首次实现EEG与MEG的统一建模，验证了跨模态联合训练的协同效应。
- 提出的传感器编码器为异构设备兼容性提供了通用解决方案。

1. 应用价值：
   
   • 为临床诊断（如神经退行性疾病早期标记物发现）和脑机接口（跨设备解码）提供可扩展的预训练框架。
     
   • 开源模型与代码（GitHub: opentslab/brainomni）促进社区发展。
     

研究亮点
1. 方法创新：
- Braintokenizer：首个实现脑信号时空离散化的模型，灵感源自神经科学中的源电流估计（source current estimation）理论。
- 物理感知建模：传感器编码器摒弃传统电极命名依赖，直接利用几何属性，支持任意拓扑输入。

1. 数据规模：
   
   • 迄今最大规模的MEG预训练数据集（656小时），填补了该模态基础模型的空白。
     

其他发现
- 消融实验显示，频率域损失（频谱MAE）与Pearson损失的组合可抑制高频伪影，提升重建质量（相位误差降低38%）。
- 潜在源变量数量优化为16，平衡信息保留与计算效率（图3a）。

此报告完整呈现了研究的创新性、技术细节及科学贡献，为神经计算与脑机接口领域的研究者提供了系统性参考。