本文题为“Advanced image generation for cancer using diffusion models”（使用扩散模型进行癌症高级图像生成），由Benjamin L. Kidder（隶属于美国韦恩州立大学医学院肿瘤学系及Karmanos癌症研究所）完成，于2024年8月23日在线发表于《Biology Methods and Protocols》期刊。这是一项单一的原创性研究，旨在探索和验证扩散模型在生成高质量、多样化癌症医学影像方面的能力与应用价值。以下是对该研究的详细学术报告。
医学影像分析领域近年来因深度学习技术而获得显著进步，但其发展常受限于数据集规模较小的问题。这主要源于医学图像获取与处理成本高昂、数据隐私法规严格以及某些疾病（尤其是罕见病）样本稀缺。数据短缺直接制约了用于训练深度学习模型的数据量，进而限制了模型性能，阻碍了计算机辅助诊断系统的进展。
生成模型，特别是生成对抗网络（GANs），曾通过提供高质量、逼真的图像来增强医学数据集。然而，GANs在训练上存在不稳定性，且生成的图像多样性和质量有限，这在依赖细微视觉差异进行准确诊断的医学影像领域构成了挑战。因此，亟需能够生成可靠、高质量合成图像的新方法，以支持有效的计算机辅助诊断系统。
扩散模型（Diffusion Models）是近年来图像生成领域的革命性技术，其性能已超越GANs。这类模型在从多样数据集（包括多模态和单模态）中创建高保真度图像方面表现出色。扩散模型在医学成像领域的应用代表了巨大的进步，特别是在生成3D医学影像（如脑部肿瘤MRI）方面已展现出优于传统3D GANs的性能，为该领域设立了新标杆。这些模型生成的合成数据不仅能镜像真实的临床图像，还能在真实数据稀缺或无法获取的情况下，有效解决数据短缺问题，这对于提高诊断准确性和推进治疗方案具有变革性潜力。
基于此背景，本研究旨在利用扩散模型生成高质量的癌症医学影像。研究的具体目标包括：1）利用Dreambooth平台，结合文本提示（text prompts）以及类别和实例图像，成功训练稳定扩散（Stable Diffusion）模型以生成多样化的医学图像；2）生成包括脑部MRI（涵盖低级别胶质瘤）、对比增强能谱乳腺X线摄影（CESM）以及胸部和肺部X射线图像在内的多种癌症影像；3）通过生成合成图像来保护患者匿名性，并大幅降低研究数据交换过程中的患者再识别风险；4）使用弗雷歇起始距离（Fréchet Inception Distance, FID）指标评估合成图像的质量，并证明其在多种成像模态下能有效捕捉肿瘤学特异性属性。
本研究的主要技术路线是采用Dreambooth对预训练的Stable Diffusion v1.5模型进行微调，以生成特定类型的医学图像。整个工作流程包括模型训练、图像合成和质量评估三个核心环节，并辅以与传统方法StyleGAN3的对比实验。
1. 模型训练与微调过程 - 核心平台与模型：实验利用集成在Stable Diffusion v1.5框架中的Dreambooth进行。Dreambooth的优势在于能够用极少量的图像对模型进行高质量、针对特定上下文的微调。它通过更新整个扩散模型，将特定的词提示与示例图像关联起来。 - 训练配置：研究者使用来自Huggingface平台的预训练模型权重（runwayml/stable-diffusion-v1-5）和经过微调的变分自编码器（VAE）。训练参数包括：先验保持权重为1.0，图像分辨率512×512像素，训练批次大小为1，使用混合精度训练、8位Adam优化器，学习率为10^-6，采用恒定调度器，无预热步骤。使用了50张类别图像，最大训练步数为800步。 - 数据处理与训练：研究从多个公开医学影像数据集中获取图像，作为微调的输入数据。每个数据集对应一个特定的“概念”。训练时，模型接收与图像相关联的文本提示，该提示包含一个独特的文本标识符，用于指明图像类别（例如，特定类型的脑瘤或“健康的脑部MRI”）。通过输入一小套医学图像，对预训练的文本到图像扩散模型进行微调，使其能够将特定的医学成像模态与独特的标识符关联起来。这种技术使得模型能够根据文本提示生成新的、逼真的癌症图像。
2. 图像合成（推断）过程 - 方法：使用微调后的Dreambooth模型，基于指定的文本提示生成图像。图像合成过程是通过迭代地将学习到的去噪函数应用于一系列噪声损坏的图像，以反转扩散过程。最终在反向过程结束时得到生成的图像。 - 参数：主要生成参数包括正向文本提示。图像生成过程以512×512像素的分辨率进行。
3. 图像质量定量评估 - 评估指标：使用弗雷歇起始距离（FID）分数来量化合成图像与真实图像之间的视觉相似性。FID通过计算两批图像在Inception-v3网络Pool3层激活值所拟合的多变量高斯分布之间的Wasserstein-2距离来衡量相似度，该指标被证实与人类感知判断有良好相关性，常用于评估GAN输出质量。 - 对比基准：为了全面评估，研究者不仅计算了合成图像与其实图像之间的FID分数，还计算了真实图像彼此之间的FID分数作为参照。
4. 对比实验（与传统生成模型对比） - 对比模型：为了评估Dreambooth结合Stable Diffusion的有效性，研究者将其与另一种主流生成模型StyleGAN3进行了对比。 - 实验设置：使用StyleGAN3在相同的矢状面脑部MRI和胸部X射线图像数据集上分别训练了定制模型。模型配置为“stylegan3-t”，R1正则化权重（gamma）设为0.5以稳定训练。 - 比较维度：对比主要集中在训练效率和生成图像质量（通过FID分数衡量）两个方面。Dreambooth在T4 GPU上仅需10-15分钟即可完成训练，而StyleGAN3需要A100或L4等更高性能GPU，并耗时24-36小时。两者的FID分数被用来衡量其生成图像与真实图像的相似度。
本研究在多个癌症影像模态上成功生成了高质量的合成图像，并通过定量和定性分析验证了其效果。
1. 脑部癌症MRI图像生成 - 数据集：使用Kaggle上的“脑肿瘤图像数据集”（包含胶质瘤、脑膜瘤和垂体瘤）以及TCGA的低级别胶质瘤（LGG）分割数据集。 - 生成结果：经过微调的模型能够根据文本提示，合成出脑膜瘤、胶质瘤和垂体瘤的横断面及矢状面MRI图像（图2，图3）。此外，基于健康脑部图像训练的模型也能生成高质量的矢状面和水平面健康脑部MRI扫描图（图4）。 - 特别贡献——低级别胶质瘤（LGG）模型：针对LGG（WHO II级和III级）这类具有浸润性生长、复发和进展风险高的肿瘤，研究者利用LGG分割数据集专门训练了扩散模型。这些模型能够根据文本提示生成多样化的LGG的MRI图像（图5）。这项工作有助于科学界完善胶质瘤及其他恶性肿瘤的分类算法。
2. 乳腺X线摄影（CESM）图像生成 - 数据集：使用“分类数字数据库-对比增强能谱乳腺X线摄影”（CDD-CESM）数据集，该数据集包含2006张高分辨率注释图像。 - 生成结果：研究者利用少量CESM图像对模型进行微调，然后通过文本提示合成了CESM乳腺X线图像（图6a）。此外，还应用了图像到图像扩散技术，生成了多样化的乳腺癌乳腺X线图像，在保留肿瘤特征的同时，有效减少了患者特异性特征（图6b）。这些图像具有独特的临床特征，适用于医学教育、机器学习、罕见病症图像获取以及诊断辅助等多个应用。
3. 胸部X射线图像生成 - 数据集：使用包含108,948张前视角X射线图像的ChestX-ray8数据库。 - 生成结果：通过对生成扩散模型进行微调，研究者能够根据文本提示合成出胸部X射线图像（图7a）。生成的图像展示了详细的胸部X光视觉效果，证明了该方法在创建肺部和胸部放射图像表征方面的有效性。
4. 合成图像与真实图像的相似性评估 - FID分数分析：FID分数分析显示，在MRI、LGG、CDD-CESM和X射线等所有测试模态中，由Dreambooth微调的稳定扩散模型生成的合成图像与其实图像之间具有高度的相似性（图7b）。这表明Dreambooth训练过程非常有效。 - 与StyleGAN3的对比结果：Dreambooth在几乎所有测试中都取得了比StyleGAN3更低的FID分数（意味着更高的相似度），尽管两者生成的图像与真实图像的FID分数范围均在200-300左右，表明都能生成具有相当相似度的图像。然而，Dreambooth在训练效率上具有压倒性优势：其训练时间（10-15分钟）远短于StyleGAN3（24-36小时），且对GPU资源（T4 vs A100/L4）的要求更低。这一结果突显了Dreambooth在训练效率和生成图像质量方面的双重优越性，使其对研究人员而言更具可及性。
本研究的核心结论是：通过利用Dreambooth和多样化的医学影像，研究者成功推进了能够生成高质量医学图像的扩散模型的应用。将稳定扩散应用于医学成像，有望在诊断、研究和治疗开发方面取得重大进展。
科学价值与应用价值： 1. 解决数据稀缺问题：该方法为因成本、隐私和疾病罕见性导致的医学影像数据短缺问题提供了一个强大的解决方案。它能够生成补充传统数据获取方法的合成数据集，尤其是在真实医学图像稀缺的情况下。 2. 保护患者隐私与伦理研究：使用合成图像完全消除了对真实患者进行有创程序的需要，并在数据共享过程中最大限度地保护了患者匿名性，避免了再识别风险，确保了伦理研究实践。 3. 提升诊断与算法开发：合成的高质量、多样化图像可以用于增强机器学习算法的训练数据，从而改进其诊断能力。定制化的数据集（包含特定疾病特征）有助于开发和测试创新的诊断方法及治疗策略。 4. 促进医学教育与研究：合成的医学影像是宝贵的教育工具，可帮助医学生和专业人员更好地理解和识别各种疾病。同时，它们也为大规模医学影像研究提供了可能，无需担心数据隐私问题。 5. 成本效益：生成合成图像具有成本效益，因为它减少了对昂贵医学成像设备和有限真实世界数据的依赖。
研究者已将所有训练好的Dreambooth稳定扩散模型权重、实例提示以及用于图像推断和训练的代码公开在Huggingface平台和GitHub仓库中。这种开源共享的做法有利于促进该领域其他研究者的验证、复现和进一步开发，加速人工智能在生成肿瘤医学影像方面的应用进程，体现了良好的学术协作精神。此外，研究中对扩散过程（由随机微分方程控制，并使用欧拉-丸山方法求解）和模型架构（包含归一化层、基于U-Net的生成器和多个残差块的去噪得分匹配架构）的简要描述，为有兴趣深入技术细节的读者提供了切入点。