关于《整合多模态与纵向神经影像数据：多源网络表征学习》研究报告
本报告旨在向中文科研界介绍张雯（Wen Zhang）等学者近期发表于学术期刊《Neuroinformatics》的一项原创性研究。该研究针对神经影像学中大脑网络分析的核心挑战，提出了一种创新的融合框架，旨在同时利用多模态与纵向数据的互补信息，以提升大脑网络表征的效能，并最终增强对心理测量分数的预测能力。
一、 研究基本信息
本研究的主要作者来自美国亚利桑那州立大学的不同学院。第一作者及多位共同作者（Gustavo Miranda， Kai Shu， Suhang Wang， Huan Liu， Yalin Wang）隶属于计算、信息与决策系统工程学院。另一位重要合作者B. Blair Braden则来自健康解决方案学院。通讯作者为Yalin Wang，其联系地址同为亚利桑那州立大学计算、信息与决策系统工程学院。此项研究以论文形式《Integrating multimodal and longitudinal neuroimaging data with multi-source network representation learning》发表于2022年4月的《Neuroinformatics》期刊第20卷第2期（最终编辑版）。
二、 学术背景与研究目标
本研究的核心科学领域是神经影像学（neuroimaging）与计算神经科学，具体聚焦于大脑连接组（brain connectome）或大脑网络（brain network）的分析。现代神经影像技术，如功能磁共振成像（fMRI）和扩散张量成像（DTI），能够分别揭示大脑的功能活动与解剖结构。将大脑区域间的相互作用建模为图网络，并应用图论方法进行分析，已成为理解大脑信息处理与调控机制、乃至诊断神经系统疾病的有效途径。
然而，神经影像数据的获取通常成本高昂，导致可用于构建大脑网络的样本量有限。当前，有两个数据收集趋势可被用以挖掘更多信息：1) 多模态数据：例如，同时获取反映神经信号时间同步性的fMRI功能网络和反映白质纤维束连接的DTI结构网络。2) 纵向数据：对同一批受试者在多个时间点进行重复扫描，以追踪大脑随时间的发育或演变。已有研究表明，这两种数据能提供互补信息。但现有的挑战在于，如何学习能够同时捕获多模态及纵向数据集网络特性的大脑网络表征。
基于此背景，本研究的主要目标是：开发一个统一的数学框架，整合大脑网络分析中的多源信息（即纵向与多模态信息）。研究者假设，这种整合的网络学习方案，通过提供统计效力更强的表征，可以提升大脑网络分析的效能。具体而言，他们旨在提出并验证一个名为“多模态大脑网络融合与纵向耦合”（Multimodal brain network fusion with longitudinal couplings, MMLC）的通用融合框架。
三、 详细研究流程与方法
本研究的工作流程系统而严谨，可分为数据准备、网络构建、方法框架设计与验证实验几个主要环节。
1. 研究对象与数据来源 研究使用的全部数据均来自西南大学纵向成像多模态脑数据仓库（Southwest University Longitudinal Imaging Multodal brain data repository, SLIM）。该数据集包含大量健康参与者（本地大学生），每人拥有多模态（fMRI和DTI）和多时点（连续三次扫描，跨度约三年半）的神经影像数据。研究选取了其中的两个子数据集： * 数据集1（焦虑研究）：包含105名健康参与者。每次扫描前，使用状态-特质焦虑量表（State Trait Anxiety Inventory）评估其焦虑水平，采用特质焦虑分数进行分析。 * 数据集2（抑郁研究）：包含77名健康参与者。使用自动思维问卷（Automatic Thoughts Questionnaire）评估其与抑郁相关的心理状态，该分数在影像采集前记录。 所有参与者均为右利手，无神经或精神疾病史。
2. 数据预处理与网络构建 * 功能网络（fMRI）：对静息态fMRI数据进行标准化预处理，包括剔除前10个时间点、头动校正、空间平滑、滤波、去线性趋势、 nuisance信号回归（白质、脑脊液、全脑信号、6个头动参数）以及空间标准化到MNI空间。最终，为每个大脑区域生成4维残差时间序列。基于选定的大脑图谱（本研究采用包含246个脑区的人脑连接组图谱，Human Brainnetome Atlas），计算每对脑区时间序列之间的皮尔逊相关系数，作为功能网络的边权重，构建功能连接矩阵。 * 结构网络（DTI）：对DTI数据进行涡流和头动校正，并配准到与fMRI一致的MNI标准空间。使用FSL工具箱中的probtrackx函数计算脑区间的纤维概率连接，并通过标准化和双向平均处理，得到对称的纤维连接强度，作为结构网络的边权重，构建结构连接矩阵。
3. MMLC方法框架（核心创新） MMLC框架的核心思想是通过矩阵分解进行网络嵌入，并在三个层次上施加耦合约束，以学习统一的个体水平大脑网络表征。 * A. 横断面融合：对于一个扫描时间点下的一组受试者，通过矩阵分解将每个个体的大脑网络矩阵Xi,j分解为基矩阵Ui,j和表征矩阵Vi,j。为了寻找群体中的一致模式，引入一个共识矩阵V*，并通过损失函数约束所有个体的Vi,j向V*对齐，从而捕获群体共性的网络模式。 * B. 多模态融合：对于同一个体同一时间点的功能网络(Xf)和结构网络(Xd)，假设它们共享相同的基矩阵U。这一约束基于“结构网络是功能网络的结构基础”的生物学假设，旨在隐式地捕捉两种模态间的线性关联。损失函数同时最小化两种网络的重构误差，并通过参数α调节对结构或功能网络的侧重。 * C. 纵向融合：此部分主要作用于结构网络的共识矩阵上，基于“结构网络在时间上相对稳定”的观察。研究者将不同时间点间的结构网络共识矩阵的变化建模为一种旋转关系（即一个旋转矩阵R）。通过引入广义Stiefel约束，将这种旋转关系耦合到优化问题中，从而确保学到的网络表征能平滑、一致地随时间演变。 最终，MMLC的目标函数整合了以上三种融合的损失项及正则化项，形成了一个需要联合优化的非凸问题。研究者为此设计了一种结合随机块坐标下降法的迭代更新算法进行求解，并公开了源代码。
4. 实验设置与对比分析 为验证MMLC的有效性，研究设计了心理测量分数预测任务，并将MMLC与几种有代表性的方法进行对比： * MFCsmC：MMLC的基础版本，仅包含横断面耦合和多模态数据，但无模态间共享基矩阵约束和纵向耦合。 * EIGLC：一种先进的单模态（结构网络）纵向耦合方法。 * SMFLC：MMLC的变体，仅处理结构网络并包含纵向耦合，用于与EIGLC进行单模态对比。 * MFCslC：MMLC的另一变体，功能与结构网络使用不同的基矩阵进行分解，但包含纵向耦合，用于评估共享基矩阵约束的重要性。 实验采用线性回归模型（使用LIBSVM工具箱），利用学习到的个体网络表征（[Vf， Vd]）来预测焦虑或抑郁分数。评估指标为平均绝对误差（MAE）和均方根误差（RMSE）。通过随机划分训练集（70%）和测试集，重复20次实验取平均性能。
四、 主要研究结果
1. 参数分析结果 研究者系统分析了关键超参数的影响： * 跨模态权重α与横断面耦合权重λ1：在焦虑数据集中，α=1时性能最优，表明功能与结构网络在预测中作用相当；λ1=20时性能最佳。在抑郁数据集中，最佳α=5，λ1=20。这表明MMLC能通过无监督学习适应不同预测任务，也反映了功能与结构连接在不同认知任务中的角色存在差异。 * 特征空间维度p：当p=10时，预测性能已达到令人满意的水平，且继续增加p值性能无显著提升。这表明每个脑区的前10个连接模式已包含足够的信息生物标志物。
2. 预测性能结果 在两个数据集上的回归分析结果显示： * MMLC在两个预测任务（焦虑和抑郁）上的MAE和RMSE均优于所有对比方法，且方差相对较低。 * 与单模态纵向方法EIGLC相比，MMLC的变体SMFLC（仅结构网络+纵向耦合）已表现出显著优势，证明了矩阵分解框架的有效性。 * 对比MFCslC（无共享基矩阵）和MMLC，共享基矩阵的耦合（即多模态融合）带来了预测精度的提升（焦虑MAE提升0.05，抑郁MAE提升0.1），验证了跨模态线性约束的益处。 * 对比MFCsmC（无纵向耦合）和MMLC，添加纵向一致性约束也带来了性能改善（焦虑MAE提升0.1，抑郁MAE提升0.07）。 这些统计结果证实了MMLC框架能有效提取与正常焦虑或抑郁变异相关的、蕴含在多模态纵向大脑网络中的关键特性。
3. 特征评估与子网络发现 通过回归模型，研究者识别了与心理测量分数最敏感的前5个关键脑区。 * 焦虑相关：左、右额中回，左额上回，右基底节，右海马。这些区域与先前关于焦虑神经基础的文献高度协同，例如海马在情绪处理和长期记忆中的作用，额中回活动与焦虑水平的关系等。 * 抑郁相关：右侧颞上回，右侧海马旁回，右侧丘脑，右侧腹内侧枕叶皮层，右侧中央前回。这些区域同样与既往关于抑郁（特别是自动思维）的神经影像学研究发现一致。 研究者进一步可视化了这些关键脑区在群体平均网络中的功能与结构连接子网络模式。发现fMRI子网络连接模式相对均匀，而DTI网络连接权重方差较大、更稀疏，这从侧面解释了为何选择结构网络作为纵向耦合的稳定基础。
五、 结论与研究价值
本研究成功提出并验证了首个能够同时融合多模态与纵向大脑网络信息的综合性数学模型框架——MMLC。该框架通过横断面、多模态和纵向三层耦合策略，学习了统计效力更强的个体化大脑网络表征。
科学价值： 1. 方法论创新：为神经影像领域处理多源、动态网络数据提供了新的计算工具和思路，推动了脑连接组分析方法学的发展。 2. 生物学见解：通过线性耦合模型和纵向旋转约束，为理解大脑功能与结构之间、以及大脑随时间演变的动力学关系提供了量化建模手段。 3. 可解释性：框架学习到的节点嵌入特征（Vf， Vd）有助于解释重要脑区之间的关系，识别与特定心理状态相关的关键子网络。
应用价值： 1. 提升预测效能：实验证明，MMLC所学的表征能更准确地预测个体的焦虑和抑郁心理测量分数，展示了其在精神健康状态评估方面的潜力。 2. 发现稳健生物标志物：在健康人群中识别出的与焦虑、抑郁相关脑区，与临床研究发现相协同，表明该方法有能力探测细微的脑-行为关系，有助于未来发现更可靠、可重复的神经影像学生物标志物。 3. 通用性：框架不局限于特定疾病或模态，可扩展至其他神经精神疾病的研究或其他模态数据的融合。
六、 研究亮点
七、 其他有价值内容与未来方向
研究者在讨论部分也坦诚指出了当前工作的局限与未来方向： 1. 线性耦合假设：当前采用线性模型整合多模态网络，但脑功能与结构的关系可能包含非线性成分。未来可探索分层或局部线性的映射，以构成全局非线性关系。 2. 纵向模型简化：目前仅对结构网络采用旋转矩阵进行纵向建模。未来可探索对功能网络也施加非线性形变约束，或引入高阶图匹配。 3. 参数设置的优化：当前对功能与结构网络赋予相同的横断面耦合权重λ1。未来可研究为不同模态分配不同权重的灵活性。 4. 应用拓展：未来计划利用学到的网络表征进行早期疾病诊断和预防研究，并深入分析其揭示的子网络模式，验证不同模态间共性拓扑模式的重要性。
张雯等人的这项研究为神经影像大数据时代下的脑网络分析提供了一套强大而富有洞察力的新工具，有望在未来心理测量预测、脑疾病生物标志物发现及大脑发育演变规律的研究中发挥重要作用。