关于BrainFusion软件框架的学术研究报告
一、 研究团队与发表信息
本研究由华南理工大学、东北大学等机构的科研人员合作完成。主要作者包括Wenhao Li, Chenyang Gao, Zhaobo Li, Yunheng Diao, Jiaxin Li, Jiayi Zhou, Jing Zhou, Ying Peng, Guanchu Chen, Xuecheng Wu，以及通讯作者Kai Wu。该研究成果以研究论文形式发表于学术期刊《Advanced Science》，并于2025年6月5日在线发表。
二、 学术背景与研究目标
本研究属于脑机接口与多模态神经生理信号处理领域。脑机接口技术通过解码大脑活动信号实现人脑与外部设备的直接通信，其中脑电图因其无创、低成本、便捷等优势成为BCI研究的主要信号源。近年来，基于EEG的BCI技术已取得长足发展，并广泛应用于神经康复、情绪识别、疲劳监测等多个领域。然而，单一模态的EEG信号往往存在异质性，整合来自其他生理模态的信号（如功能近红外光谱、心电图、肌电图）可以提供互补信息，从而提升BCI的分类性能与评估可靠性。例如，结合EEG与ECG或皮肤电反应可提高情绪识别准确率；在复杂电磁噪声环境中，融合EEG与fNIRS可增强系统鲁棒性。
尽管多模态生理信号分析前景广阔，但其在实际研究和应用中面临三大核心挑战：1）可重复性差：数据采集协议、预处理技术和特征提取参数的差异导致结果不一致，且大量深度学习研究的数据和代码未公开；2）分析复杂性与可及性低：整合多模态信号涉及复杂的跨模态对齐、耦合计算和高级机器学习，通常需要编写定制脚本，对缺乏深厚编程背景的研究者构成壁垒；3）从实验室到实际应用的鸿沟：算法研究多限于受控实验环境，缺乏能够将理论模型转化为可用系统的、支持快速原型开发和部署的工具平台。
为应对这些挑战，本研究旨在开发一个名为“BrainFusion”的统一软件框架。其核心目标是：提升多模态BCI及脑体交互研究的可重复性；通过提供低代码、可视化引导的环境降低技术门槛，提升可及性；并支持将分析工作流打包为独立可执行程序，从而促进研究成果向实际应用的转化，弥合多模态研究与现实世界应用之间的差距。
三、 研究详细工作流程
本研究并非一项传统的、基于特定数据集验证某个假设的实验性研究，而是一项软件开发与方法学研究。其“工作流程”实质上是BrainFusion软件框架的设计、构建、功能验证与案例演示过程。研究流程主要包括框架设计、核心模块开发、以及通过两个典型案例验证框架有效性。
1. BrainFusion框架总体设计 BrainFusion是一个专门为多模态BCI和脑体交互研究设计的软件平台，其核心设计理念强调低代码、可重复性和可部署性。平台围绕四大功能模块构建： * 多模态生理信号计算引擎：提供信号处理、特征工程和耦合分析的计算库。 * 一键式工作流设计器：提供拖放式图形用户界面，用于快速构建从数据预处理到结果分析的完整流程。 * 机器学习扩展框架：集成自动化机器学习与深度学习基准模型，支持用户自定义模型导入。 * 应用程序生成器：可将验证后的工作流转化为具有图形界面的独立可执行应用程序（.exe文件）。
平台目前全面支持EEG、fNIRS、EMG和ECG四种生理信号的处理，并计划未来扩展到更多模态。
2. 核心模块的详细开发与实现 a. 多模态生理信号计算引擎 该引擎旨在实现跨模态数据的自动化批处理、特征工程和耦合分析。 * 标准化数据容器：采用基于Python字典的结构，受MNE框架启发，将数据结构分为Raw、Epoch、Evoked三种类型。它集成了信号对齐策略，包括用于同步采集信号的时间点对齐和用于异步记录信号的基于事件的对齐，并支持与脑成像数据结构格式的互操作。 * 自动化预处理流水线：为EEG、fNIRS、EMG、ECG四种信号类型提供了经过先前研究验证的、定制化的自动预处理流程。例如，EEG预处理包括带通滤波、陷波滤波、眼电伪迹去除（EOG回归与独立成分分析）和重参考；fNIRS预处理则包括基于修正比尔-朗伯定律计算血红蛋白浓度变化，以及小波滤波、带通滤波和样条插值校正异常段。 * 跨域特征工程：提供了涵盖时域、频域、时频域、非线性和网络分析的综合特征提取方法库。此外，还集成了针对特定信号生理特性的专用特征提取技术，如EEG微状态分析、非周期成分（1/f）建模、EMG同步能量分解和ECG心率变异性分析。 * 多模态动态耦合分析引擎：为研究多模态BCI任务和脑体交互中的动态耦合关系提供了直观的实验平台。该引擎内置了神经血管耦合、心脑交互和皮质肌肉相干性等预定义分析模块，并允许用户通过自定义接口实现新的耦合度量指标。它能够可视化不同实验状态下信号间关系的实时变化，从而捕捉和量化动态耦合机制。
b. 一键式工作流设计器 此设计器采用三层架构，允许用户通过拖放图形化节点的方式构建分析流程。 * 执行层：将独立功能封装为模块化节点，共分为八类：数据输入、预处理、特征提取、耦合计算、机器学习、统计分析、绘图和通用功能。节点根据支持的信号模态和输入/输出格式进一步分类。 * 连接层：通过两大规则确保节点交互的逻辑正确性：1）有向无环图规则，防止循环依赖；2）节点连接规则表，明确规定各类节点间有效的输入/输出配对关系。 * UI层：提供直观的图形用户界面，用户可拖放节点、配置工作流、实时监控数据流、交互式编辑节点参数。内置验证工具可自动检测循环依赖或接口不匹配等问题。 * 调试与验证：平台支持基础调试功能，通过生成符合预期的合成输入数据并顺序执行每个节点来初步验证工作流的正确性。
c. 机器学习扩展框架 该框架旨在提升多模态BCI研究的建模效率。 * 机器学习支持：支持支持向量机、随机森林、XGBoost等传统机器学习算法，并集成了基于Auto-sklearn的自动化机器学习系统，可自动搜索最优模型架构与超参数。 * 深度学习基准模型库：为BCI应用提供了专用的基准模型库，例如EEGNet等。当前模型库主要针对运动想象分类和睡眠分期分类两个代表性任务，并正在积极扩展以涵盖更多应用场景。 * 外部模型接口：提供了一个基于Python的类，允许用户通过该接口集成自定义的深度学习模型（目前仅支持PyTorch框架）。用户需提供模型权重文件、模型定义文件、推理函数代码文件和模型描述文件，即可在BrainFusion平台环境中部署和运行自定义模型。
d. 应用程序生成器 该模块允许用户将已验证的工作流转化为独立的可执行桌面应用程序。过程分为两个阶段：1）UI配置：用户指定输入数据名称、输出解释和应用程序名称；2）计算配置：用户提交包含预训练推理模型的工作流。系统将这些参数注入预定义的代码模板，进行完整性、逻辑一致性和组件兼容性验证，最终通过PyInstaller编译生成包含所有必要依赖库的独立可执行文件。
3. 案例研究验证框架效能 研究通过两个典型案例，系统评估了BrainFusion在多模态神经信号处理、机器学习建模和快速应用部署方面的能力。这两个案例的“研究对象”是公开可用的数据集。
案例一：EEG-fNIRS运动想象BCI分类 * 研究对象与数据：使用柏林工业大学公开的EEG-fNIRS运动想象BCI数据集。该数据集包含29名受试者在想象左手、右手运动及静息状态下的同步EEG（30通道，1000Hz）和fNIRS（36通道，覆盖运动皮层）记录。每名受试者完成3个session，每个session包含10次左手和10次右手 trials，总样本量n=870。 * 处理与分析流程： 1. 数据标准化与预处理：将原始数据转换为统一结构，并标准化为BDF和SNIRF格式。随后使用BrainFusion内置的自动化流水线对EEG和fNIRS信号进行预处理。 2. 特征提取与神经血管耦合分析：对EEG信号计算五个经典频带的功率谱密度特征并生成地形图。对fNIRS信号，提取覆盖C3/C4脑区的通道的平均氧合血红蛋白和脱氧血红蛋白浓度响应。为建模NVC，将C3电极的EEG平均PSD曲线与典型血流动力学响应函数卷积，生成预测的HbO轨迹，并与实测fNIRS数据进行比较。进一步从EEG C3/C4电极及其对应的fNIRS通道提取任务相关的NVC特征，并进行配对t检验分析。 3. 分类建模：分别从EEG信号、HbO/HbR浓度以及NVC时间序列中提取共同空间模式特征。为每位受试者训练SVM和RF分类器以区分左右手运动想象trial，并通过AutoML优化超参数。为每种模态选择性能最佳的模型，并采用线性SVM作为元分类器，将这些基学习器集成到一个堆叠集成框架中。 * 实验方法：本研究利用BrainFusion平台完整执行了上述多模态预处理、特征提取、NVC分析、统计评估和分类建模的工作流，展示了平台整合多模态分析的能力。
案例二：睡眠分期分类与应用程序生成 * 研究对象与数据：使用哈格兰登医学中心公开的睡眠分期数据库，包含四通道EEG和单通道ECG信号，基于R&K标准建立包含清醒期、N1、N2、N3和REM期五个类别的分类任务。 * 处理与分析流程： 1. 数据准备与模型比较：将连续的EEG和ECG信号分割为30秒的epoch并进行相应标记。在BrainFusion平台上，比较了四种深度学习模型：SleepNet（四通道EEG输入）、SleepEEGNet（单通道EEG输入）、AttnSleep（单通道EEG输入）和CareSleepNet（四通道EEG结合单通道ECG输入）。所有模型在相同条件下训练，使用五折交叉验证。 2. 模型部署与应用生成：在模型训练与评估后，将性能最佳的CareSleepNet模型通过外部模型接口导入BrainFusion平台。随后，利用应用程序生成器模块，开发了一个原型推理应用程序。该程序能够可视化来自EEG和ECG信号片段的睡眠分期预测结果，包括分类标签、概率分数和历史推理记录。 * 实验方法：此案例重点验证了BrainFusion平台的深度学习模型复现、基准测试能力，以及其独特的“从模型到应用”的部署流程。
四、 研究主要结果
案例一结果： 1. 神经血管耦合分析结果：对29名受试者共870个样本的静态NVC强度分析表明，左手和右手运动任务之间在所有通道上均未显示出显著差异。这提示在简单手部运动执行期间，通过EEG-fNIRS耦合测量的静态NVC在运动皮层未表现出任务特异性偏侧化。 2. 分类性能结果：基于10折交叉验证的受试者平均分类准确率如下：EEG CSP特征为57.0% ± 15.2%；fNIRS HbO的CSP特征为90.6% ± 4.7%；fNIRS HbR的CSP特征为90.1% ± 5.2%；NVC CSP特征为93.4% ± 6.7%。而集成模型达到了最高的总体准确率，为95.5% ± 6.0%。 3. 结果解释与逻辑关联：静态NVC分析未发现显著差异，促使研究者进一步探究任务特异性模式是否嵌入在NVC的动态特征中。随后利用动态NVC特征进行机器学习分类，取得了极高的准确率（93.4%），这暗示动态NVC可能捕捉到了任务特异性的神经-血流动力学相互作用。最终，融合了时空EEG特征、血流动力学响应和NVC指标的集成模型取得了最佳性能，这充分证明了融合多模态信息对于提升运动想象BCI性能的显著益处。
案例二结果： 1. 模型性能比较结果：CareSleepNet（EEG+ECG多模态）取得了最佳整体性能，准确率为80.2% ± 1.9%，宏平均F1分数为77.1% ± 2.1%。其他模型的性能分别为：SleepNet（准确率76.5% ± 2.3%， MF1 72.9% ± 2.0%）、SleepEEGNet（准确率71.4% ± 2.5%， MF1 69.3% ± 2.2%）、AttnSleep（准确率68.1% ± 2.1%， MF1 65.2% ± 2.4%）。在各个睡眠分期上，CareSleepNet的F1分数也普遍优于其他模型。 2. 结果解释：该结果凸显了整合多模态EEG和ECG特征对于睡眠分期分类的有效性，证明了多模态融合在提升模型性能方面的优势。 3. 应用生成结果：成功将训练好的CareSleepNet模型导入BrainFusion，并通过应用程序生成器创建了一个功能完整的原型推理应用。该应用具备实时睡眠分期预测、概率分数可视化和历史推理跟踪功能，完整演示了从模型开发到应用部署的端到端流程。
这两个案例的结果共同表明，BrainFusion平台不仅能够支持复杂的多模态数据处理和先进机器学习建模，还能有效将这些分析流程转化为可实际运行的软件工具，验证了其设计目标的可行性。
五、 研究结论与价值
本研究成功开发并验证了BrainFusion这一统一软件框架。该框架通过整合标准化的数据处理流水线、跨域特征工程和动态耦合计算到一个模块化、低代码的工作流架构中，弥补了现有神经信号分析工具生态系统的不足。
其科学价值与应用价值体现在： 1. 提升研究可重复性与效率：通过标准化的数据容器、自动化的预处理流水线和可复现的工作流设计，BrainFusion有助于减少因分析流程不一致导致的结果变异，促进多模态生理信号研究领域的可重复性。 2. 降低技术门槛，促进跨学科研究：其图形化、低代码的工作流设计器使得不具备高级编程技能的研究者（如临床医生、心理学研究者）也能构建复杂的多模态分析流程，从而降低了脑机接口和脑体交互研究的入门门槛，有利于神经科学、生物医学工程、心理学等领域的交叉融合。 3. 填补从研究到应用的转化空白：独特的应用程序生成器功能，使得实验室中开发的分析算法和模型能够快速打包成独立的可执行程序，便于进行原型测试、演示或初步的临床验证，加速了科研成果向实际应用（如辅助诊断工具、神经反馈系统）的转化进程。 4. 为脑体交互研究提供集成化工具：通过内置的神经血管耦合、心脑交互、皮质肌肉相干性等分析模块，BrainFusion为深入研究中枢神经系统与周围神经系统之间复杂的双向通信提供了一个灵活、统一的平台，有助于更全面地理解健康与病理状态下的中枢-外周动态机制。
六、 研究亮点
七、 其他有价值的内容
研究在讨论部分对BrainFusion的当前局限性与未来发展方向进行了坦诚阐述，体现了科学研究的严谨性。局限性包括：目前主要面向离线数据分析，缺乏实时处理能力；尚未涵盖所有先进或计算密集型的分析方法（如基于深度学习的多模态融合）；目前支持的生理信号模态为核心四种（EEG, fNIRS, EMG, ECG），对EDA、MEG等信号的支持有待扩展。未来发展方向包括：增强实时信号采集与在线处理能力；扩展模型库以涵盖认知负荷评估、情感计算等更多领域；为多模态情绪识别、压力监测等用例生成可定制的应用模板；纳入更先进的连通性度量指标；以及持续优化图形用户界面和文档以提升用户体验。这些思考为软件的持续进化指明了清晰路径。
BrainFusion作为一个开创性的软件框架，通过其低代码、可重复、可部署的特性，有望成为推动多模态脑机接口和脑体交互研究从实验室走向实际应用的重要基础设施和催化剂。