本文为原创性研究，以下为详尽的学术报告。

《Textomorph：基于文本驱动的肿瘤合成技术》研究报告

一、 研究团队与发表信息

本研究的主要完成单位包括约翰斯·霍普金斯大学（Johns Hopkins University）的计算机科学系与生物医学工程系、耶鲁大学（Yale University）生物医学工程系、中山大学第一附属医院、香港理工大学护理学院、英伟达（NVIDIA）以及加州大学旧金山分校（University of California, San Francisco）的放射学与生物医学成像系。主要作者包括Xinran Li、Yi Shuai、Chen Liu等，通讯作者为Zongwei Zhou。

该研究成果发表于2026年6月的《IEEE Transactions on Medical Imaging》期刊第45卷第6期。该期刊是医学影像计算领域的顶级学术刊物，论文的发表标志着此项工作获得了该领域的高度认可。

二、 研究的背景与目标

本研究属于医学影像分析与人工智能（AI）的交叉领域，具体聚焦于医学图像合成，尤其是肿瘤的合成。 在现代AI辅助诊断系统中，训练数据的不平衡和稀缺性是制约模型性能的关键瓶颈。AI模型经常对某些罕见或复杂的肿瘤病例（如早期小肿瘤、边界不清晰的肿瘤）产生漏检（False Negatives）或过检（False Positives）的错误。肿瘤合成技术可以通过生成这些具有挑战性的病例来扩充训练集，从而靶向性地提升AI模型在这些薄弱环节上的表现，同时还能解决患者数据隐私和标注成本高昂的问题。 然而，现有的肿瘤合成方法存在显著局限性。它们要么是无条件的生成（根据随机噪声生成图像），要么仅以肿瘤的形状掩膜（Mask）作为条件。这导致生成的肿瘤纹理、异质性、边界特征以及病理类型等重要临床特征不可控，生成的肿瘤往往与训练集中的现有病例过于相似或重复，无法有效针对AI的具体失败模式进行强化训练。 事实上，放射科医生在临床工作中日常生成的大量放射学报告（Radiology Reports），包含了极其丰富的关于肿瘤特征的文本描述（如“边界模糊”、“囊性”、“低密度”等），但这些文本信息此前并未被有效整合到肿瘤合成的工作流中。因此，本研究旨在开发一种全新的、由文本驱动的肿瘤合成方法，名为Textomorph。其核心目标是利用放射学报告中的文本描述，结合肿瘤掩膜，实现在纹理、异质性、边界和病理类型等多个维度上对生成肿瘤进行精细控制，从而生成更逼真、更具多样性、且能精准靶向AI弱点的肿瘤影像，最终提升AI在肿瘤检测、分割和分类任务上的性能。

三、 研究流程与方法

本研究的工作流程主要分为四个核心步骤：肿瘤报告预处理、文本驱动的三维扩散模型训练、肿瘤合成以及分割模型训练。

1. 肿瘤报告预处理（Tumor Report Preprocessing） 为解决成对影像-文本数据（CT-Report Pairs）极度稀缺的问题，研究团队首先构建了一个数据集，包含141对带有肿瘤的肝脏、胰腺和肾脏CT扫描及其对应的放射学报告，并额外收集了一个包含34，035份放射学报告的大型语料库。在预处理阶段，研究者利用大型语言模型（LLMs）GPT-4o，从原始的放射学报告中自动提取并整理出聚焦于肿瘤纹理、边界等核心特征的描述性短语。为确保准确性，研究团队使用Llama 3.1模型计算提取文本与原始报告的余弦相似度，剔除相似度低于0.9的样本。随后，为了增强数据的多样性和模型的鲁棒性，针对每个提取的标准化描述，GPT-4o被提示生成了100个句法结构不同但核心语义保持一致的变体报告，同样经过语义验证，从而将每个CT影像的文本关联从一份扩展至100份语义一致的变体，为后续的模型训练提供了丰富且可靠的文本条件。

2. 文本驱动的三维扩散模型训练（Text-Driven 3D Diffusion Model Training） 这是Textomorph的技术核心。研究采用了潜在扩散模型（Latent Diffusion Models， LDMs）的架构。一个三维的VQGAN首先将CT子体积压缩到一个紧凑的潜在空间，然后一个三维U-Net网络在其中执行去噪扩散过程。该生成器的关键创新在于其条件控制机制，它不仅以健康的CT背景和肿瘤二值掩膜作为条件，还引入了由预处理得到的文本嵌入（Text Embeddings）作为控制肿瘤外观（纹理、边界等）的条件。 为了进一步加强文本描述与生成影像之间的对齐，研究团队应用了一种文本驱动的对比学习（Contrastive Learning）策略。该策略在庞大的报告语料库上运作，其核心思想是：对于来自不同CT扫描但是由相似文本描述生成的肿瘤，模型将其视为正样本对，最小化它们在高维特征空间的距离；而对于来自同一CT扫描但是由完全不同的文本描述生成的肿瘤，模型将其视为负样本对，最大化其特征距离。这种对比学习的目标函数被专门应用于肿瘤特异性特征，从而帮助模型学习到文本短语与视觉肿瘤特征之间鲁棒且精确的关联，显著减少了对稀缺的成对数据的依赖。

3. 肿瘤合成（Tumor Synthesis） 在完成模型训练后，研究利用冻结的生成器进行大规模的肿瘤合成，并将其分为三种策略：

• 随机化肿瘤合成（Randomized Tumor Synthesis）：从一个健康CT扫描库中采样背景，结合随机生成的、经过放射科医生验证的仿真掩膜，以及从34，035份报告中采样的文本描述，生成随机但逼真多样的肿瘤，用于基础的数据增强。
• 靶向性肿瘤合成（Targeted Tumor Synthesis）：这是本研究的独特贡献之一。研究者首先分析现有AI检测模型的失败案例，即那些被漏检的真实肿瘤（False Negatives）。然后，利用GPT-4o为这些漏检肿瘤反推生成描述其关键特征（如异质性强化、边界不清）的文本。最后，以这些文本和对应的掩膜为条件，在新的健康CT背景上合成新的肿瘤。这些合成肿瘤精准地复现了导致AI失败的复杂表型，从而“靶向”地弥补了模型的能力短板。
• 类别特异性肿瘤合成（Class-Specific Tumor Synthesis）：为提升肿瘤分类性能，研究者为每一类肿瘤（如胰腺癌PDAC、囊肿）提炼出具有类别区分性的文本描述，并与随机掩膜结合，生成大量类别一致的肿瘤，用于平衡分类训练集并锐化决策边界。

1. 下游分割与分类模型训练（Segmentation Model Training） 最后，将上述所有策略生成的合成肿瘤与真实肿瘤数据混合，共同训练一个三维分割模型。该模型沿用Difftumor的网络结构，用于评估合成数据对肿瘤检测和分割任务的提升效果。对于分类任务，则将分割模型的输出头替换为全局平均池化和线性分类器，用于预测肿瘤类别的概率。

四、 主要实验与结果

研究团队设计了一系列严谨的实验来评估Textomorph的生成质量及其对下游任务的实际价值。

1. 肿瘤逼真度：视觉图灵测试 两位放射科医生（高年资和低年资）在双盲状态下评估了540张CT扫描，以区分真实肿瘤和合成肿瘤。结果显示，与其他方法生成的肿瘤相比，Textomorph生成的肿瘤显著降低了医生的辨别准确率（即更难被识破）。例如，对于大尺寸肝脏肿瘤，基准方法Difftumor的辨别准确率高达92.5%和87.5%，而Textomorph将其降低至77.5%和75.0%。在胰腺和肾脏的大肿瘤上，这种优势同样明显。这一结果表明，通过文本条件的精细控制，Textomorph能够生成高度逼真、符合文本描述的合成肿瘤。
2. 肿瘤可变性：影像组学模式分析 为量化生成肿瘤的多样性，研究者提取了720个合成肿瘤的102个影像组学纹理特征（Radiomics Features），并计算其平均方差（Mean Variance）。结果显示，Textomorph在肝脏、胰腺和肾脏上的平均方差普遍高于Difftumor、LeFusion等对比方法（如肝脏为1.14 vs. 1.09，肾脏为1.03 vs. 0.95）。更高的方差意味着Textomorph生成的肿瘤在纹理、异质性等视觉模式上具有更丰富的多样性，这对于训练鲁棒的AI模型至关重要。
3. 下游任务性能提升 这是验证Textomorph实用价值的最终标准。在肿瘤检测与分割任务上，使用Textomorph合成数据进行训练后，AI模型在多个关键指标上实现了一致的提升：对小尺寸肿瘤（<20mm）的检测灵敏度提升了+6.5%；用于精准放疗评估的肿瘤分割规范化表面距离（NSD）提高了+3.1%。消融实验进一步证实，靶向性合成和对比学习这两个模块对性能提升贡献显著。例如，靶向性合成策略使得肾脏大肿瘤的Dice相似系数（DSC）和灵敏度分别提升了7.2%。在肿瘤良恶性分类任务上，Textomorph合成的类别特异性肿瘤也带来了显著的增益，恶性肿瘤分类的正确预测值（PPV）提升了+9.1%，良性囊肿分类的灵敏度提高了+7.1%。此外，亚组分析表明，该方法在不同年龄和性别的患者群体中均能取得一致的性能改善。

五、 研究结论与价值

本研究成功开发并验证了一种名为Textomorph的文本驱动肿瘤合成框架。该研究证明了将放射学报告中的描述性文本作为生成条件，可以显著提升合成肿瘤的逼真度、多样性和可控性，从而克服了现有技术的局限。其科学价值在于，它提出并验证了一种新的数据增强范式，即通过文本控制生成具有特定临床特征的目标图像，来针对性地强化AI模型的薄弱环节，这是一种从“数据驱动”向“知识驱动”的融合性探索。其巨大的应用价值体现在，它能有效减少AI对昂贵且稀缺的像素级标注数据的依赖，通过利用临床常规产生的大量放射学报告，为提升早期肿瘤筛查、精准治疗划定和良恶性鉴别诊断等关键临床任务的AI性能，提供了一种可扩展和高效的解决方案。

六、 研究亮点

1. 创新的方法论：首次提出了在三维CT影像中，以文本描述为条件，结合肿瘤掩膜，对合成肿瘤的纹理、边界、病理等临床特征进行精细控制的扩散模型框架。
2. 巧妙的弱监督学习策略：通过在大规模报告语料库上进行对比学习，模型仅需极少量的成对数据（141对），便成功建立了文本词汇与视觉特征之间的映射关系，极大地提高了技术的实用性和可扩展性。
3. 靶向性数据增强：提出了一种闭环的训练范式，即分析模型失败案例 -> 生成失败案例的文本描述 -> 合成类似案例进行针对性补强，为智能化的模型迭代训练提供了新思路。
4. 严格的综合评估体系：由经验丰富的放射科医生进行的视觉图灵测试和客观的影像组学模式分析，为评估合成医学影像的质量提供了多维度的严格标准，确保了生成内容兼具视觉逼真度和统计多样性。