分享自:

Anatodiff:利用有限训练图像合成解剖学上真实的X光片

期刊:IEEE Transactions on Medical ImagingDOI:10.1109/tmi.2026.3661433

本文发表于IEEE Transactions on Medical Imaging,作者为Ka-Wai Yung等人,研究团队来自伦敦大学学院(UCL)的霍克斯研究所、医学物理与生物医学工程系,以及大奥蒙德街儿童医院(GOSH)的专科新生儿与儿科外科和NIHR生物医学研究中心。文章提出了一种名为AnatoDiff的扩散模型,用于在训练图像仅有500至1,000张的有限数据条件下,合成具有解剖学真实性的X光片。该研究旨在解决医学影像合成领域中小样本训练导致解剖结构失真或形态错误的问题,特别面向罕见病或专科疾病数据稀缺的临床场景。

在学术背景方面,去噪扩散模型近年来在自然图像合成中展现了优于生成对抗网络(Generative Adversarial Networks, GANs)的性能,并被逐步引入医学影像生成,以促进数据匿名化和扩充。然而,现有扩散模型通常依赖超过10,000张图像的大规模训练集,例如CheXpert或MIMIC-CXR。对于许多专科疾病,获取此类大规模高质量数据并不现实。预训练于自然图像的潜在扩散模型(Latent Diffusion Model, LDM)在领域迁移时,往往无法生成解剖学准确的结构,尤其在训练样本减少至数百张时,重建精度、多样性和局部解剖保真度均出现显著下降。文章通过实验指出,在CheXpert数据集上,完全微调的LDM在约500张训练样本处出现性能拐点,表现为全局真实感尚存但局部解剖细节失真。因此,作者提出AnatoDiff,引入形状原型模块(Shape Prototype Module, SPM)和解剖保真度损失(Anatomical Fidelity Loss, AF Loss),以在有限数据下提供结构性先验与拓扑约束。

在方法设计上,AnatoDiff构建于基于Transformer的DiT模型之上。首先,输入图像经变分自编码器(Variational Autoencoder, VAE)编码为潜空间表示,并划分为补丁序列输入DiT。为降低过拟合风险并提高参数效率,模型冻结预训练DiT中除偏置项外的全部权重,并引入可学习缩放因子γ以调节注意力与前馈网络输出。SPM模块首先对训练图像进行二值化,以突出肺野、腹部轮廓、骨骼边缘等主要解剖结构,并抑制低激活噪声。随后通过K-means++聚类得到k个聚类中心作为形状原型,并利用同一VAE编码为原型潜变量。在训练与推理过程中,带噪潜变量通过交叉注意力与原型潜变量交互,计算加权原型表示,并在最后n个DiT块中通过逐元素相加方式融入生成过程。该设计不额外引入大量可训练参数,保持了参数效率。

AF损失则基于拓扑数据分析(Topological Data Analysis, TDA),利用立方复形对一步去噪潜变量和目标潜变量进行过滤,构建持续性条码和持续性图。通过计算两张持续性图之间的p-Wasserstein距离,衡量拓扑结构差异。在损失函数中,该拓扑距离与均方误差(Mean Squared Error, MSE)损失相加,并以权衡系数λ加权。由于生命周期较长的高持续性拓扑特征通常对应肺边界、器官轮廓、骨骼形状等临床重要结构,AF损失使模型在训练中优先对齐这些关键解剖结构,从而在像素级监督之外注入解剖学先验。为节省计算资源,持续性图在潜空间直接计算,并随机选择单个通道计算拓扑特征,在保持性能的同时实现约1.8倍的加速。实验表明,H0和H1同调群均为获得最佳性能所必需。

在实验设计方面,研究使用了三个来自不同解剖区域的公开数据集:GOSH NEC新生儿腹部X光数据集(约1,000张训练图像)、CheXpert成人胸片子集(500张训练图像)以及MURA肱骨X光子集(500张训练图像)。所有实验重复五次,计算平均值与标准差。评价指标包括Fréchet Inception Distance(FID)、Improved Precision(IP)和Improved Recall(IR)。基线模型包含GAN类方法(MOCA、CDC、RICK、DC-GAN)和扩散类方法(FSDM、LDM的全微调与参数高效微调变体BitFit、LoRA、SeLoRA,以及DiffFit)。训练使用单张NVIDIA RTX 4090 GPU,批大小为16,生成图像分辨率为256×256,推理时生成1,000张图像并基于测试集计算指标。

定量结果显示,扩散模型在三个数据集上普遍优于GAN模型。GAN在有限样本下出现模式崩溃,导致召回率显著降低。DiffFit在基线中表现最佳,而AnatoDiff在所有数据集上均优于DiffFit,平均FID改善14.9%,IP改善9.7%,IR改善2.3%。具体到各数据集,AnatoDiff在三个数据集上相较DiffFit分别实现14.5%、15.4%和14.7%的FID改善,IP分别提高13%、9%和7%,IR则提高5%、1%和1%。这些数据表明SPM与AF损失在不同解剖结构上均有效提升了生成图像的真实性与形态准确性。

消融实验进一步验证了各模块的作用。仅使用DiffFit生成的图像存在形态缺陷、器官混合和结构错误;加入AF损失后,解剖轮廓和器官位置得到改善,但仍存在伪影和轻微形态问题;进一步加入SPM后,生成图像在解剖准确性和结构一致性上达到最优。定量结果显示,单独加入AF损失使FID改善6.3%,IP改善6.0%,IR改善2.0%;加入SPM后额外带来9.8%的FID改善和3.0%的IP提升。超参数消融显示,SPM中最后7个块数和25个原型数为最佳设置,超过此值出现收益递减。AF损失中,随机选择单个通道计算拓扑距离可在保持性能的同时显著减少计算开销。λ的敏感性分析表明,在默认值2×10⁻⁶附近小幅波动时性能稳定,但调整一个数量级以上则会导致生成质量明显下降。聚类稳定性实验显示,不同随机种子下FID在40.2至41.0之间波动,均优于DiffFit基线;二值化阈值在120至160之间性能稳定,以150为最佳,超过180则会丢失重要解剖轮廓。此外,K-means与密度峰聚类间的性能差异较小,表明框架对聚类方法不敏感。

图像记忆化研究表明,完全微调的DiT倾向于直接复制训练图像或对其进行水平翻转。加入DiffFit参数高效微调后,生成图像引入了新颖元素。AF损失与SPM的加入在提升结构保真度的同时,未重新引入记忆化效应,生成图像与最相似训练样本保持足够差异。定性与原型可视化分析进一步表明,SPM生成的原型能够捕捉胸廓、腹部、心脏与肝影、肋骨、肺野以及肱骨等粗粒度解剖结构,为模型提供结构引导而不限制细粒度多样性。在某些病例中,AnatoDiff仍可能生成过度平滑的图像,或受到GOSH NEC数据集中ICU便携设备伪影的影响而重现线性伪影,这些是当前方法的局限性。

在下游分类任务中,研究使用ResNet-50对GOSH NEC进行四分类。分别用AnatoDiff和DiffFit生成20,000张与10,000张类别条件合成图像,并从中采样10,000、5,000、1,000和500张子集进行训练。结果显示,AnatoDiff生成的图像在所有子集规模上均优于DiffFit,在10,000张规模上F1分数提高5.3%,与仅使用真实图像训练的模型差距缩小至1.2%。将AnatoDiff图像加入真实数据后,分类性能持续提升;而加入超过5,000张DiffFit生成图像后性能反而下降,表明AnatoDiff生成的样本信息更丰富且解剖一致性更强。

专家评估研究邀请了10名医学专业人员(包括8名儿科外科顾问、1名初级儿科外科医生和1名新生儿科顾问)对GOSH NEC的真实与合成图像进行判断。结果显示Matthews相关系数为0.277,Fleiss’ kappa为0.126,说明专家几乎无法区分AnatoDiff生成图像与真实X光片,且评估者间一致性低。这一结果支持了AnatoDiff在视觉真实性与临床应用潜力方面的价值。作者计划未来扩大专家评估规模,并结合伪影感知训练目标或后处理筛选机制进一步提升临床适用性。

AnatoDiff通过SPM提供全局解剖形状先验,以AF损失强调高持续性拓扑特征,有效提升了小样本医学X光片生成中的解剖真实性与结构一致性。该方法在三个公开数据集上均优于现有最先进的小样本与数据受限生成方法,并在下游分类和专家评估中显示出一致的优势。文章亮点包括:面向500至1,000张训练图像这一尚未充分探索的数据区间;提出参数高效的形状原型模块与基于拓扑数据分析的解剖保真度损失相结合的全新框架;在多种解剖部位上验证了通用性与鲁棒性。该研究为稀缺临床数据下的医学影像合成提供了一条可扩展的技术路径,未来有望进一步推广至CT和MRI等三维模态。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com