本研究由上海大学的马云领、熊迪、上海科技大学张翰、海南大学的张朝军以及上海大学的应时辉共同完成。论文《Multi-task dynamic graph learning for brain disorder identification with functional MRI》发表在期刊《Pattern Recognition》2026年第170卷。
该研究属于生物医学工程、医学影像分析与人工智能的交叉领域,主要目标是利用静息态功能磁共振成像(rs-fMRI)数据,开发一种自动化、高精度的脑疾病(如自闭症谱系障碍和重度抑郁症)诊断新方法。当前,临床诊断脑疾病(特别是神经精神疾病)很大程度上依赖于医生的量表评估和临床经验,缺乏统一的客观标准,导致诊断具有主观性和不确定性。rs-fMRI作为一种非侵入性神经成像技术,能够通过血氧水平依赖(BOLD)信号反映大脑不同感兴趣区域(ROIs)之间的神经活动与功能连接,为基于计算机的辅助诊断提供了可能。
传统的脑功能连接(FC)分析通常基于静态假设,即认为连接模式在整个扫描过程中是恒定的。然而,大脑功能连接网络具有显著的时间动态特性。动态功能连接(dFC)分析,特别是基于滑动窗口的技术,试图捕捉这种时变特征。但这种方法存在明显局限:首先,模型对滑动窗口的长度、步长等参数高度敏感,参数选择不当会严重影响特征提取的准确性和稳定性;其次,个体在执行任务或静息时的反应速率存在异步性,加之生理状态波动、心理活动、环境噪声等不可控因素,导致从不同个体提取的dFC轨迹在时间上无法对齐,为下游的分类任务引入了偏差和噪声。此外,已有研究证明年龄与多种脑疾病之间存在相关性,将年龄预测作为辅助任务引入模型,有助于模型学习与疾病相关的年龄偏倚信息,从而提升主要分类任务的性能。现有的一些动态图学习方法在建模时变脑网络方面显示出潜力,但在有效对齐个体间动态轨迹、捕捉复杂的时空动态信息方面仍面临挑战。因此,本研究旨在解决以上问题,提出一个能够对齐功能连接轨迹、有效学习时空动态特征、并利用多任务学习策略增强模型性能的全新框架,以实现更稳定、更准确的脑疾病自动识别。
本研究提出的方法被称为多任务动态图学习(MT-DGL)框架,其工作流程主要包括三个核心部分:
第一部分:SPD流形上的功能连接轨迹对齐。 此步骤旨在克服模型对滑动窗口参数的依赖,并减轻个体间执行速率异步性的影响。具体流程如下:首先,研究基于AAL和CC200两种不同空间尺度的大脑图谱,获取每个ROI的BOLD时间序列。随后,采用滑动窗口技术(窗口大小设为40,步长为3)将每个ROI的时间序列划分为T个时间窗。在每个时间窗内,计算所有ROI两两之间的皮尔逊相关系数,得到一个相关矩阵序列,即初始的动态功能连接 {A(1), …, A(T)}。由于相关矩阵在几何上具有对称正定(SPD)的属性,研究将其内在地表示为SPD流形上的点。通过特征值分解和正则化处理(将零或接近零的特征值替换为一个小的正数ε),确保矩阵严格正定,并归一化其行列式为1,得到SPD值的FC矩阵序列 {Ã(1), …, Ã(T)}。为了对齐不同个体的轨迹,研究将每个个体的dFC序列视为SPD流形上的一条连续轨迹α(t),并引入传输平方根向量场(TSRVF)方法对其进行表示。TSRVF的核心思想是将轨迹映射到其起点处的切空间,形成一个向量场q(t)。对齐问题则转化为寻找一个时间重参数化函数γ,使得两条轨迹的TSRVF表示在经过γ变换后的距离最小。研究中采用了一种高效的动态规划近似算法来求解此优化问题。首先构建一个包含所有受试者(训练集和测试集)的组水平模板轨迹,然后在训练和测试阶段,将每个个体的SPD轨迹与这个组模板进行对齐。这一过程有效地消除了时间上的异步性,生成对齐后的动态功能连接矩阵序列 {Â(1), …, Â(T)},为后续的图表示学习提供了更一致、更可靠的输入。
第二部分:基于Mamba的多尺度动态图学习。 此模块的目标是从对齐后的fMRI数据中提取多分辨率的时空动态特征。具体流程如下:首先进行动态图建模。将对齐后的每个时间窗的FC矩阵 Â(t) 视为一个全连接图的邻接矩阵。为了构建稀疏的、更具生物学意义的脑网络,研究保留连接强度排名前30%的边(即q=30),构建二元邻接矩阵A*,节点特征矩阵X则基于原始数据设定。这样,T个时间窗的序列就构成了一个动态图。接下来,特征学习分为两个子步骤:1) 基于GIN的空间特征学习:使用图同构网络(GIN)来聚合每个时间窗内图的节点特征。GIN通过可学习的多层感知机(MLP)和参数ε,对节点自身及其邻居的特征进行非线性聚合与更新。经过多层GIN处理后,得到每个节点的特征表示。然后,通过一个基于挤压-激励网络思想的读出头(Readout),为每个节点学习一个注意力权重Z,并加权求和得到每个时间窗的图级特征表示R_t。对所有时间窗进行此操作,得到图级特征序列 R = [R1, R2, …, R_T]。2) 基于Mamba的时序动态特征学习:为了捕获图级特征在时间维度上的长期依赖关系,研究设计了一个基于Mamba的特征编码器(MFE)。Mamba是一种先进的线性时间序列建模架构,其核心是选择性状态空间模型(SSM),能够根据输入动态地聚焦关键信息,在处理长序列时兼具强大的建模能力和线性计算复杂度。MFE首先将图级特征序列R进行投影并分割。然后通过一维卷积提取局部时间依赖关系,再将结果输入到选择性SSM中。SSM通过状态方程(St = A S{t-1} + B u_t)和输出方程(Y_t = C S_t + D u_t)来建模序列的动态演化,其中参数A, B, C, D可以是输入依赖的。接着,引入门控机制,用残差信息调整状态更新。最后,通过残差连接将浅层特征与原始输入结合,并聚合所有Mamba层的输出,得到最终的时序增强特征Y。通过对所有时间窗的特征进行求和,得到一个融合了时空注意力的图级表示G。上述过程对基于AAL(116个ROI)和CC200(200个ROI)两个尺度构建的动态图并行进行,从而得到两个尺度的时空动态特征 G1 和 G2。
第三部分:多尺度融合与多任务学习策略。 为了整合不同空间尺度的互补信息,将G1和G2两个特征向量进行拼接,形成融合后的特征向量。该特征被同时送入两个任务分支:1) 脑疾病识别主任务:通过一个全连接层进行分类(如ASD vs. NC, MDD vs. NC),使用交叉熵损失函数L_C进行优化。2) 年龄预测辅助任务:通过另一个全连接层进行回归,使用均方误差损失函数L_M进行优化。此外,为了防止GIN层输出节点特征矩阵时出现梯度问题,增加了一个正则化项L_R,约束节点特征矩阵的正交性。最终,MT-DGL框架通过优化联合损失函数 L = L_C + λ1 L_M + λ2 L_R 来进行训练,其中λ1和λ2是权衡各任务贡献的超参数(实验中分别设为1和0.2)。
研究使用的数据来自两个公开的rs-fMRI数据集:ABIDE数据集中的纽约大学(NYU)站点(79名ASD患者,105名正常对照)和REST-MDD数据集中的站点20(282名MDD患者,251名正常对照)。所有数据均使用DPARSF流程进行预处理,包括头动校正、空间标准化、去噪、滤波等,并基于AAL和CC200图谱划分ROI。实验采用五折交叉验证,使用准确率(ACC)、精确率、召回率、AUC和F1分数作为评价指标。
研究的主要结果如下:在ASD vs. NC分类任务上,MT-DGL取得了最佳性能,准确率达到73.9%,AUC达到74.9%。与多种基线方法对比分析发现:1) 引入动态特性(如DCNN, DGCN, DGIN)的方法普遍优于仅使用静态功能连接的方法(如CNN, GCN, GIN),这证实了捕捉时间动态信息对脑疾病识别的重要性。2) 融入多任务学习(如MT-DCNN, MT-DGCN)的模型性能有所提升,表明年龄预测辅助任务通过共享特征表征,为主任务提供了有益的监督信号。3) 加入了轨迹对齐操作的模型(如A-DCNN, A-DGIN)性能显著优于未对齐的对应模型,平均准确率提升约3.87%,这直接证明了TSRVF轨迹对齐模块在减少个体差异、提升数据一致性方面的关键作用。4) 与时空图卷积网络(ST-GCN)相比,基于GIN+Mamba的架构表现更优,作者认为ST-GCN的全局池化操作可能稀释了局部动态信息。
在MDD vs. NC分类任务上,MT-DGL也取得了最优的综合性能(准确率60.3%,F1分数63.5%),但其整体指标低于ASD任务。作者分析这可能是因为MDD的临床表型异质性更大,常伴随焦虑、睡眠障碍等共病,导致数据分布更复杂,且数据集本身质量也可能存在影响。尽管如此,MT-DGL仍优于所有对比方法,证明了其框架的有效性。统计显著性分析(t检验)表明,在绝大多数对比中,MT-DGL的性能提升具有统计学意义(p < 0.05)。
详尽的消融实验进一步验证了各模块的贡献:在ASD任务中,移除轨迹对齐模块会使ACC下降11.4%,AUC下降5.1%;移除多任务学习策略会使ACC下降6.5%,AUC下降3.8%。在MDD任务中也观察到类似的趋势,尽管提升幅度较小。这确凿地证明了对齐模块和多任务策略都是MT-DGL性能提升不可或缺的部分。
此外,研究还进行了多项深入分析:1) 超参数分析:探讨了联合损失中λ1和λ2的影响。发现λ1=1时模型性能最佳,过大或过小都会导致性能下降,说明适度的年龄预测监督信号最有利。模型对λ2的变化不敏感,显示出良好的鲁棒性。2) 网络稀疏性分析:测试了保留不同比例(q)强连接的影响。当q=30时模型性能最优,q值过低(信息丢失)或过高(引入冗余噪声)都会导致性能下降。3) Mamba模型合理性验证:用LSTM、GRU、Transformer替代Mamba进行时序建模,结果显示MT-DGL(Mamba)性能最佳,证明了选择性状态空间机制在建模fMRI长时序动态特征方面的优势。4) 轨迹对齐可视化:通过BrainNet Viewer软件直观展示了对齐前后FC网络的变化,可见对齐后个体轨迹与组模板更加吻合,连接强度的变化更为平滑。5) 跨中心泛化性评估:在ABIDE数据集的另一个站点(UM站点)上进行测试,MT-DGL仍取得了有竞争力的性能(准确率69.0%),证明了模型具有一定的泛化能力。
本研究的结论是,成功提出并验证了一个新颖的多任务动态图学习(MT-DGL)框架,用于基于fMRI的脑疾病自动识别。该框架通过三个核心创新有效解决了当前dFC分析中的关键挑战:第一,利用TSRVF方法在SPD流形上对齐FC轨迹,降低了对滑动窗口参数的依赖,缓解了个体间执行异步性带来的变异。第二,设计了基于Mamba的多尺度动态图学习模块,能够有效捕获fMRI数据中多分辨率的时空动态特征。第三,引入了以年龄预测为辅助任务的多任务学习策略,通过共享特征学习提升了模型对脑功能变化及其年龄相关信息的理解,从而优化了疾病分类性能。实验在自闭症和抑郁症两个公共数据集上证实了该框架的优越性、鲁棒性和一定的泛化能力。
本研究的价值主要体现在:科学价值方面,它推动了动态功能连接分析方法的进步,为解决轨迹对齐和时空特征提取难题提供了新的思路和有效工具;将流形学习、动态图神经网络、选择性状态空间模型和多任务学习有机融合,为计算神经科学和医学图像分析领域提供了创新的方法论参考。应用价值方面,所提出的MT-DGL框架作为一种计算机辅助诊断工具,有望为临床医生提供客观、定量的决策支持,减少脑疾病诊断的主观性和误诊率,具有向临床转化应用的潜力。
本研究的亮点包括:1) 方法学的创新性:首次将TSRVF轨迹对齐方法系统地应用于脑fMRI动态功能连接分析,并与先进的动态图学习、Mamba模型相结合,构建了一个完整且强大的分析管道。2) 多任务学习策略的巧妙设计:引入与疾病相关的年龄预测作为辅助任务,是一种低成本提升模型性能与可解释性的有效策略。3) 全面的实验验证:不仅在主任务上取得了优越性能,还通过详尽的消融实验、参数分析、对比实验和跨中心验证,扎实地证明了各模块的有效性和模型的鲁棒性。4) 对挑战的针对性解决:研究直接瞄准了滑动窗口dFC分析中的参数敏感性和个体异步性两大痛点,并提出了切实可行的解决方案。
最后,作者也指出了研究的局限性及未来方向:例如,可以探索更灵活的任务关系建模方法(如结合强化学习);可以考虑引入基于深度学习的去噪模型(如扩散模型)进一步优化轨迹对齐;未来工作可以整合多模态数据(如结构MRI、基因数据)以更全面地理解脑疾病。