基于伪标签精炼的医学图像半监督分割混合方法研究报告

本文旨在介绍一项由McMaster大学的Behnam Rahmati、Shahram Shirani与Zahra Keshavarz-Motamed共同完成的医学图像分割研究。该成果已发表于2025年的《Scientific Reports》期刊。

一、 研究的学术背景 本研究的核心科学领域是医学图像分割，这是计算机视觉中一项关键且具有挑战性的任务，对于器官功能评估、疾病诊断与治疗规划至关重要。目前，基于深度学习的方法是主流方法，但其性能严重依赖于大量标注数据，而医学图像标注成本高昂、耗时且需要专家介入，导致标注数据稀缺成为主要瓶颈。半监督学习旨在利用少量标注数据和大量未标注数据来缓解此问题，其中伪标签技术是常用方法之一。然而，现有半监督学习方法并非专门针对医学图像设计，存在一些固有挑战，例如伪标签可能存在噪声或不准确，特别是在捕捉医学图像特有的平滑、精细边界方面，深度学习模型常表现不佳。另一方面，尽管传统图像处理方法在深度学习时代较少被使用，但其在无需大量标注数据的前提下能提供稳健的性能，并能有效捕捉边缘信息。因此，本研究旨在针对医学图像分割任务，改进和增强经典的伪标签半监督学习方法。其核心目标是：通过结合传统图像处理技术来精炼伪标签，提高伪标签质量；引入不确定性估计来筛选可靠伪标签；并在网络训练中整合边界平滑约束，从而构建一个专为医学图像设计的、更准确、更鲁棒的半监督学习框架。

二、 详细研究流程 本研究提出了一套完整的增强型伪标签半监督学习框架，其工作流程主要包含四个紧密衔接的步骤：

1. 初始网络训练与伪标签生成 首先，使用少量有标签数据集（例如，总训练数据的5%-25%）训练一个初始的分割网络（研究中使用了FCN和U-Net架构）。训练完成后，将此模型应用于大量未标注数据集，为每张未标注图像生成初步的像素级预测概率图。随后，通过“赢者通吃”的硬阈值化操作，将概率最高的类别作为该像素的伪标签，从而得到初步的伪标签集。这一步是标准伪标签流程的起点。

2. 基于可靠性的伪标签筛选 为应对初始伪标签中存在的噪声和不可靠预测，本研究引入了基于不确定性的伪标签筛选机制。研究采用“自熵”作为衡量每个像素预测不确定性的简单有效指标。对于一张未标注图像中的每个像素，计算其预测概率分布的自熵值。研究者探索了两种筛选层级： * 像素级筛选： 设定一个自熵阈值。对于自熵低于阈值的“可靠”像素，保留其生成的伪标签；对于自熵高于阈值的“不可靠”像素，则在后续训练中忽略其贡献。这通过一个“掩码交叉熵损失函数”实现，该损失函数仅在可靠像素上计算交叉熵损失。 * 图像级筛选： 计算整张未标注图像所有像素的平均自熵值。如果该平均自熵超过特定阈值，则认为整张图像的伪标签质量不佳，将其完全从重新训练的数据集中剔除。这种策略旨在避免使用整体置信度低的图像，防止模型学习系统性错误。

3. 基于可变形模型的伪标签精炼 这是本研究的核心创新之一。研究发现，深度神经网络生成的初始伪标签可能在边界区域存在错误或不精确。为此，研究者引入传统图像分割方法——“无边缘活动轮廓模型”来对筛选后的伪标签进行后处理精炼。该方法将分割曲线（轮廓）视为一个可变形模型，在内部力（保持平滑）和外部力（驱使轮廓移向图像梯度特征）的作用下演化，最终贴合目标边界。 研究中一个关键的改进是引入了“形状先验”能量项。该能量项约束演化后的轮廓与初始伪标签（即网络预测）的轮廓形状不能偏离太远。这有效地在深度学习预测（可能局部不准但整体结构对）和可变形模型（擅长局部拟合但可能整体偏离）之间取得了平衡。具体操作是：将经过筛选的初始伪标签同时作为ACWE模型的初始轮廓和形状先验输入，运行模型后得到边界更平滑、更符合解剖学结构的精炼伪标签。这一步骤弥补了深度学习模型在捕捉精细边缘方面的不足。

4. 整合总变差正则化的网络重新训练 伪标签精炼仅改进了训练数据（标签），但并不能保证重新训练后的网络自身能产生平滑的分割结果。为确保最终网络预测的边界也具有平滑性，研究者在重新训练阶段的损失函数中引入了一个“总变差正则化项”。该术语计算预测分割图中相邻像素之间的差异，惩罚预测图中尖锐、非连续的突变，从而鼓励网络输出平滑的分割结果。 最终，重新训练阶段的整体损失函数由三部分构成：在少量有标签数据上计算的“监督损失”、在大量未标注数据上仅针对可靠像素计算的“掩码交叉熵损失”（非监督损失）、以及鼓励预测平滑性的“总变差损失”。通过可调参数λ1, λ2, λ3来平衡这三项的权重。网络使用这个组合损失函数在有标签数据和带有精炼伪标签的未标注数据上进行重新训练，得到最终的分割模型。

研究对象的处理与实验设计： 研究在三个公开的医学影像数据集上进行了评估，涵盖两种成像模态： 1. Sunnybrook心脏数据集： 心脏MRI，评估心内膜和心外膜分割。 2. COVID-19 CT肺部与感染分割数据集： 肺部CT，评估左肺和右肺分割。 3. 自动心脏诊断挑战数据集： 心脏MRI，评估左心室心内膜、心肌和右心室分割。 实验设置中，从每个数据集中随机选取固定数量的2D切片作为训练集和测试集。在训练集中，进一步随机选取不同比例（如5%，10%，15%，20%，25%）的切片作为“有标签数据”，其余训练切片作为“未标注数据”，以此模拟不同程度的标注数据稀缺场景。为减少随机选择带来的偏差，每个实验设置重复三次并取平均结果。

性能评估采用Dice相似系数和Jaccard指数作为主要指标。本研究与多种基线方法进行了对比，包括：完全监督学习、标准伪标签方法、以及为分割任务调整的FixMatch方法。此外，研究还逐步展示了其框架中各个模块的贡献：仅使用可变形模型精炼、精炼+总变差正则化、增加像素级筛选、以及增加图像级筛选。

三、 主要研究结果 实验结果表明，本研究提出的混合框架在所有数据集和不同标注比例下，均显著优于标准伪标签方法和完全监督基线。

1. Sunnybrook心脏数据集结果： * 当仅使用15%有标签数据时，标准伪标签方法将心内膜分割Dice指数从全监督的82.1%提升至84.7%。而本研究提出的完整方法（图像级筛选+精炼+总变差）将Dice指数进一步提升至87.5%。心外膜分割也呈现出类似的提升趋势，从全监督的82.5%（15%标签）提升至完整方法的86.7%。 * 表格数据显示，从“监督”到“标准伪标签”，再到逐步加入“可变形模型精炼”、“总变差正则化”、“像素级筛选”和“图像级筛选”，Dice和Jaccard指标呈现单调递增的趋势，证明了每个模块的有效性。

2. COVID-19 CT肺部数据集结果： * 同样使用15%有标签数据时，左肺分割Dice指数从全监督的72.5%提升至标准伪标签的76.6%，最终被本方法提升至79.3%。右肺分割从75.8%提升至81.6%。 * 结果再次验证了各模块的累加效益，并且图像级筛选在该数据集上也表现出略优于像素级筛选的性能。

3. ACDC心脏数据集结果： * 在更具挑战性的多结构分割任务上，仅使用10%有标签数据，本方法将心内膜分割Dice从91.0%提升至93.7%，心肌分割从69.8%提升至74.5%，右心室分割从76.7%提升至82.1%。 * 这些结果表明，即使在标注数据极其有限的情况下，该方法对于心脏不同腔室和组织的分割均有显著改善，证明了其鲁棒性和泛化能力。

结果之间的逻辑关系与贡献： * 伪标签筛选的结果 直接减少了噪声标签对模型重新训练的干扰，为后续精炼步骤提供了更干净的输入，这是提升性能的基础。 * 可变形模型精炼的结果 直观地改善了伪标签的边界质量，特别是在边缘区域，这为网络重新学习提供了更准确的监督信号。 * 总变差正则化的结果 则确保了网络不仅学习了精炼后的标签，其自身的预测函数也倾向于产生平滑的输出，这从模型层面巩固了边界平滑性，而不仅仅是数据层面的改进。 * 最终的综合结果（完整框架）是所有前述步骤效果的集中体现，各项指标的系统性提升强有力地支持了本研究的核心假设：将传统图像处理方法的优势（边界捕捉、平滑性）与深度半监督学习相结合，能有效解决医学图像分割中标注数据稀缺的问题。

四、 研究结论与意义 本研究成功提出并验证了一个专为医学图像分割设计的增强型半监督学习框架。结论表明，通过集成伪标签技术、基于不确定性的可靠标签筛选、可变形模型驱动的伪标签精炼以及总变差正则化，可以显著提升在有限标注数据下的分割精度和鲁棒性。该框架巧妙地利用传统方法弥补深度学习在边缘细节处理上的不足，同时利用深度学习从数据中学习复杂特征的能力，形成优势互补。

其科学价值在于为半监督学习领域，特别是医学图像分析方向，提供了一种新颖的“混合范式”思路，打破了深度学习与传统方法之间的壁垒。它证明了在数据匮乏场景下，经典图像处理技术仍具有重要的补充价值。应用价值则非常直接：能够大幅降低对昂贵专家标注的依赖，使得在标注资源有限的临床场景（如罕见病、新出现疾病）中快速开发高性能分割模型成为可能，有助于推动医学影像分析的普及和自动化诊断工具的发展。

五、 研究亮点与创新 1. 方法创新性： 首创性地将可变形模型（传统方法）作为伪标签精炼器，深度集成到半监督学习流程中，并引入“形状先验”进行平衡控制，这是一个新颖的混合架构。 2. 系统性改进： 并非单一技巧，而是提供了一套包含标签筛选、精炼、正则化的完整增强方案，每个模块都有明确的动机和可验证的贡献。 3. 针对性强： 专门针对医学图像特性（如平滑边界、标注稀缺）设计，提出的总变差损失和基于不确定性的筛选机制均直指医学分割中的核心痛点。 4. 实证充分： 在三个不同模态（CT、MRI）、不同解剖结构（心脏、肺部）的数据集上进行了广泛验证，结果具有强说服力和泛化性。 5. 实用性考量： 虽然训练阶段因使用可变形模型而计算成本较高，但强调了推理阶段与轻量级网络无异，适合部署在资源有限的边缘设备上，考虑了实际应用可行性。

六、 其他有价值的讨论 研究在讨论部分深入分析了其方法的局限性与参数敏感性： * 参数调优： 方法涉及多个可调参数（如自熵阈值、形状先验权重、总变差权重等），需要通过网格搜索进行优化。未来工作可探索自适应或元学习策略来降低调优负担。 * 可变形模型的局限性： 作者坦率指出了可变形模型可能失效的情况，例如初始轮廓不佳、图像中存在灰度相似且边界不清的相邻器官、存在乳头肌等内部结构时，可能导致轮廓演化错误。文中通过多个示例（图12-15）直观展示了这些挑战，并说明其框架通过形状先验和总变差项在一定程度上缓解了这些问题。 * 计算成本： 使用可变形模型精炼伪标签会增加训练时间，但因其仅用于训练数据准备阶段，不影响推理速度。 * 维度限制： 当前工作基于2D切片，缺乏3D上下文信息。作者指出未来可扩展至3D网络以利用层间关联性。 这些讨论体现了研究的严谨性和对工作边界的清晰认识，为后续改进指明了方向。