关于《通过多任务预训练的多视图图表示增强膝关节疾病诊断》的学术研究报告

本文介绍了一项名为《Enhancing knee disease diagnosis via multi-view graph representation with multi-task pre-training》的研究，由Zixu Zhuang, Dongdong Chen, Sheng Wang, Kai Xuan, Xiangyu Zhao, Zhong Xue, Dinggang Shen, Lichi Zhang, Weiwu Yao, Qian Wang 等作者合作完成。作者们主要来自上海交通大学、上海科技大学、南京信息工程大学、同仁医院及上海联影智能科技有限公司。该项研究已发表于IEEE Transactions on Medical Imaging期刊，并已在线发表。

本研究属于医学影像分析与人工智能（AI）辅助诊断的交叉领域，具体聚焦于膝关节磁共振成像（MRI）的自动化疾病诊断。其核心科学问题是如何有效利用临床实践中普遍采集的多视图（如矢状面、冠状面、轴向）MRI序列来提升诊断准确性。研究背景揭示了当前AI诊断方法的两个主要瓶颈：一是现有方法（如MRNet及其变体）未能有效融合多视图中潜在的病灶区域信息，通常仅独立处理各视图后进行简单结果融合，忽略了局部区域在三维空间中的对应关系；二是为了提升性能，许多模型依赖大量精细标注（如逐片层或逐病灶的严重程度分级）进行预训练或监督学习，这在临床实践中成本高昂，难以大规模应用。因此，本研究旨在提出一个新颖的框架，既能够模仿放射科医生“定位病灶并参考多视图”的诊断逻辑，又能够降低对精细疾病标注的依赖。

研究的主要目标包括：1）设计一种能够统一表示多视图MRI的膝关节图结构，以关联不同视图中的相同解剖区域并排除无关背景干扰；2）构建一个膝关节图网络（Knee Graph Network, KGNet）来对该图进行编码和诊断；3）开发一种创新的多任务预训练策略，仅需少量易于获取的分割标注，即可让KGNet学习膝关节局部特征和多视图关联性，从而为下游疾病诊断任务提供强大的初始化模型。

本研究的详细工作流程可分解为三个主要步骤：膝关节图表示构建、膝关节图网络设计以及多任务预训练。

第一步：膝关节图表示构建。 这一步骤旨在将原始的、离散的多视图MRI扫描转换为一个结构化的、包含空间关系的图模型。研究使用了一个内部临床数据集（1248例受试者）和一个公共MRNet数据集（1370例受试者）。图像首先经过预处理，包括层内重采样、强度归一化等。图构建包含三个子过程：1）多视图MRI对齐：利用MRI扫描协议中的体素间距、原点坐标和扫描方向信息，将所有视图的体素坐标映射到统一的世界坐标系中，从而建立不同视图间空间位置的对应关系。这是后续跨视图关联的基础。2）顶点采样：选定一个主要视图（如矢状面），在该视图的骨表面沿固定间隔采样得到一系列顶点。每个顶点的三维空间坐标被记录。随后，在所有视图中，以该顶点在世界坐标系中的位置为中心，裁剪出固定大小的图像块。因此，每个顶点由一组多视图图像块及其三维坐标共同表征。这种设计直接模拟了放射科医生在多个视图中观察同一解剖部位的过程。3）边连接：为了保持膝关节的拓扑结构并允许信息在图网络中传递，需要连接顶点之间的边。研究计算所有顶点对之间的欧几里得距离，为每个顶点选择其前k个（默认k=10）最近的邻居顶点建立连接，形成一个无向图。最终，膝关节图被形式化表示为 G = {V, A}，其中 V 是顶点（包含多视图块和位置），A 是邻接矩阵。

第二步：膝关节图网络设计。 KGNet是本研究提出的核心编码器，负责将图顶点 V 编码为高级的局部潜在表示 H。其架构包含三个模块：1）块编码：每个视图的图像块由一个独立的ResNet-18编码器处理，生成512维的特征向量。同时，顶点的三维坐标被转换为余弦位置编码，并与对应的块特征相加，以嵌入空间信息。2）块融合：对于每个顶点，其多个视图的块特征向量与一个可学习的“顶点令牌”拼接，送入一个3层的Transformer编码器。该编码器通过自注意力机制融合多视图信息，其输出的“顶点令牌”被视作该顶点的综合特征表示。3）图卷积：所有顶点的特征表示被送入一个图Transformer（Graph Transformer）。与标准Transformer不同，图Transformer的自注意力计算被限制在由邻接矩阵 A 定义的相邻顶点之间。这使得信息仅在图结构的局部邻域内传播，有助于捕捉膝关节组织的连续性特征。最后，一个轻量级的诊断头（由图平均池化层和线性层组成）被附加在KGNet之后，用于聚合所有顶点的局部潜在表示，并输出最终的疾病严重程度分类结果（例如，软骨缺损分为正常、部分厚度缺损和全层缺损）。

第三步：多任务预训练。 这是本研究最具创新性的部分，旨在以低成本方式提升KGNet的特征学习能力。预训练仅需少量（研究中为10例）膝关节组织（骨、软骨、半月板）的分割标注，通过一个半自动流程（训练一个2D U-Net模型）推广到所有数据。预训练的核心是设计三种不同的掩码（Masking）任务，对图顶点进行随机处理，并训练KGNet与两个轻量级U-Net解码器合作完成这些任务：1）完全掩码顶点：顶点的所有多视图块均被掩码。KGNet需利用相邻未掩码顶点的信息，通过重建解码器重构出被掩码的全部图像块。此任务迫使模型学习膝关节的纹理模式和空间解剖关系。2）部分掩码顶点：随机选择顶点的一个视图块进行掩码。KGNet需利用其余未掩码的视图块生成特征，既通过重建解码器重构被掩码的单个块，又通过分割解码器对未掩码的块进行组织分割。此任务重点学习跨视图的关联性。3）未掩码顶点：顶点所有块均可见。KGNet利用全部信息生成特征，辅助该顶点自身所有块的分割任务，并支持相邻顶点的预训练。预训练的损失函数是重建任务的均方误差（MSE）与分割任务的交叉熵（CE）损失之和。通过这种多任务、掩码式的预训练，KGNet能够学习到丰富的、具有解剖意义的局部特征表示。

研究的实验结果和分析详尽地支撑了其结论。

在内部临床数据集（软骨缺损评估）上，本研究提出的KGNet（结合多任务预训练）取得了最优的诊断性能，准确率（Accuracy）达到85.6%，敏感度（Sensitivity）为84.9%，曲线下面积（AUC）为95.1%。与现有方法相比：1）它显著优于未使用预训练或图表示的单视图方法（如Efficiently-Layered Network， 准确率69.0%）。2）它也超越了传统的多视图融合方法（如MRNet， 准确率67.4%），证明了简单的视图级融合效果有限。3）即使与同样采用图表示但需要昂贵病灶分级标注进行预训练的前期工作（如CSNet和LGF-Net， 准确率约82%）相比，KGNet仅使用更易获取的分割标注就实现了约3%的性能提升，且在统计学上具有显著性差异（p<0.05）。这充分体现了所提出的多任务预训练策略在降低标注成本的同时增强模型能力的优势。

在公共MRNet数据集（前交叉韧带撕裂和膝关节异常诊断）上，尽管由于数据缺乏采集信息而无法进行多视图对齐（研究仅使用了矢状面视图），KGNet仍取得了领先的性能：前交叉韧带撕裂诊断准确率达95.0%（AUC 98.9%），膝关节异常诊断准确率达93.3%（AUC 94.6%）。这进一步证明了膝关节图表示和预训练框架的鲁棒性和泛化能力。

研究还进行了系统的消融实验以验证各模块的有效性：1）预训练任务对比：实验表明，从零开始训练的KGNet性能最差（准确率71.0%）。使用ImageNet预训练或单独的图像块重建/分割任务均能提升性能，但都不及多任务预训练的组合效果。尤其值得注意的是，多任务预训练（准确率85.6%）达到了与使用昂贵病灶分级标注进行顶点分类预训练（准确率85.2%）相媲美的水平，突显了其成本效益。2）图卷积模块对比：将KGNet中的图Transformer替换为标准Vision Transformer或Point Transformer后，诊断性能均出现明显下降（准确率分别降至81.1%和81.6%），证实了基于局部邻域的图注意力机制对于捕捉膝关节组织连续性特征的重要性。3）超参数分析：实验确定了构建图边时选择最近邻顶点数k=10为较优设置，以及预训练中三种任务顶点的最佳比例（完全掩码:部分掩码:未掩码 = 30%:30%:40%）。4）迁移学习实验：将在一个数据集上预训练的KGNet模型迁移到另一个数据集进行微调，其性能仍大幅优于从零开始训练，证明了KGNet学习到的表征具有可迁移性和通用性。5）可视化结果：论文展示了预训练中图像块的重建和分割结果，显示模型能够较好地恢复低频结构（如软骨界面）并进行准确分割，定量指标（重建MSE为0.356，分割Dice系数为0.861）也佐证了预训练的有效性。

本研究得出结论：通过将临床多视图MRI表示为统一的膝关节图，并利用创新的多任务（重建与分割）预训练策略增强图网络，成功构建了一个高效、准确的膝关节疾病（软骨缺损、前交叉韧带撕裂、异常）诊断框架。该框架在模仿临床诊断逻辑、联合处理病灶定位与跨视图参考、以及降低对精细标注的依赖方面具有显著优势。

本研究的科学价值与应用价值在于：1）方法论创新：提出了一种新颖的“多视图图表示+多任务预训练”范式，为处理非规整、多视图的医学影像提供了一种有效的结构化表示和自监督学习思路，可能推广至其他关节或器官的MRI分析。2）性能突破：在多个公开和私有数据集上实现了最先进的诊断性能，证明了所提框架的有效性和优越性。3）临床实用性：大大降低了对精细化疾病标注的依赖，仅需少量分割标注（可通过半自动方式获得）即可启动高性能模型的训练，降低了AI模型开发的成本和门槛，提高了其在临床环境中部署的可行性。4）开源贡献：研究代码已公开，有助于促进该领域的复现、验证和进一步发展。

本研究的亮点包括：1）高度仿真的诊断流程设计：通过顶点采样和多视图对齐，直接模拟了放射科医生定位并交叉参考多视图信息的核心诊断行为。2）创新的多任务预训练策略：巧妙地将掩码图像建模与分割任务结合，利用易于获取的分割标注引导模型学习具有解剖意义的跨视图特征，是降低标注成本的关键。3）图结构信息的有效利用：通过图Transformer在局部邻域内传递信息，有效捕捉了膝关节组织的空间连续性和拓扑结构，相比全局注意力机制更适用于此类任务。4）详实全面的实验验证：不仅在内部数据集上进行了充分比较和消融分析，还在公共数据集上验证了泛化能力，并通过迁移学习、可视化等手段增强了结果的可信度。

最后，论文也指出了当前框架的一个局限性：在诊断同时存在多种不同严重程度病灶的复杂病例时，模型倾向于预测占主导地位的病灶而非最严重的病灶。这提示未来可以探索多标签或软标签训练策略来更好地处理这种连续且空间复杂的病变模式，以进一步提升模型在复杂临床场景中的诊断能力。