基于边界回归和结构重参数化的细胞核实例分割模型RepsNet
基于边界回归与结构重参数化的细胞核实例分割模型RepsNet
学术背景
病理诊断是肿瘤诊断的金标准,而细胞核实例分割是数字病理分析和病理诊断中的关键步骤。然而,模型的计算效率和处理重叠目标的能力是当前研究中的主要挑战。为了解决这些问题,本文提出了一种基于细胞核边界回归和结构重参数化的神经网络模型RepsNet,用于在H&E染色的组织病理学图像中进行细胞核的分割和分类。
细胞核的分布和形态特征(如密度、核质比、平均大小和多形性)不仅对评估癌症分级有用,还能预测治疗效果。然而,病理图像通常具有细胞核广泛粘连、种类多样、形状多变以及细胞质背景与细胞核前景对比度低等特点,这些特征使得细胞核实例分割变得极为困难。
论文来源
本文由Shengchun Xiong、Xiangru Li、Yunpeng Zhong和Wanfen Peng共同撰写,分别来自华南师范大学计算机学院和Signet Therapeutics。论文于2024年12月17日被接受,并发表在《International Journal of Computer Vision》期刊上。
研究流程与结果
研究流程
边界位置信息(BPI)估计:RepsNet首先为每个像素估计其所属细胞核的边界位置信息(BPI)。BPI估计结合了像素的局部信息和细胞核的上下文信息。
边界投票机制(BVM):通过提出的边界投票机制(BVM),RepsNet从一系列像素的BPI中聚合信息,估计细胞核的边界。BVM本质上实现了来自不同像素的BPI之间的协同信念增强。
连通性分析:利用估计的细胞核边界,通过连通性分析程序计算实例分割结果。
结构重参数化:RepsNet采用可重参数化的编码器-解码器结构。在训练阶段,模型通过多个分支从不同尺度的感受野中提取特征;在推理阶段,通过结构重参数化技术将多个分支合并为一个分支,从而减少模型参数和计算负担。
主要结果
在Lizard数据集上的实验表明,RepsNet在分割精度和推理速度上均优于多个典型的基准模型。具体来说,RepsNet在测试集上的MPQ(多类全景质量)达到了0.5633,相比CONIC SOTA模型Stardist提高了0.0161。此外,RepsNet每秒可以处理10张256×256像素的病理图像。
结论与意义
本文的主要贡献包括: - 提出了一种基于细胞核边界回归和信息聚合(NBRI)的新型细胞核实例分割方案。该方案通过聚合来自多个像素的边界位置估计来区分细胞核边界,提高了对粘连细胞核边界的分辨能力。 - 设计了一个基于NBRI方案的全重参数化编码器-解码器网络RepsNet。该网络通过结构重参数化技术提高了模型的多尺度特征提取能力,同时减少了推理阶段的参数量和计算负担。 - 提出了一种基于边界等高线的损失函数,能够自适应地惩罚边界估计的偏差,增强模型对训练数据中潜在错误标注的适应性。
研究亮点
- 创新性:RepsNet通过边界回归和信息聚合的方式,显著提高了对粘连细胞核的分割精度。
- 高效性:通过结构重参数化技术,RepsNet在保持高分割精度的同时,显著减少了模型的计算负担。
- 鲁棒性:提出的边界投票机制和边界损失函数增强了模型对边界模糊和错误标注的鲁棒性。
实验与评估
数据集与实验设置
实验在Lizard数据集上进行,该数据集包含约50万个标记的细胞核,分为六类:中性粒细胞、上皮细胞、淋巴细胞、浆细胞、嗜酸性粒细胞和结缔组织细胞。数据集被随机分为训练集、验证集和测试集,比例为7:1:2。
实验结果
RepsNet在多个评估指标上均优于基准模型,包括AJI(聚合Jaccard指数)、Dice系数、PQ(全景质量)和MPQ(多类全景质量)。具体来说,RepsNet在测试集上的MPQ达到了0.5633,相比Stardist提高了1.61%。
消融实验
通过消融实验,验证了RepsNet中各个关键组件的有效性,包括RepVGG单元、RepUpsample模块和边界损失函数。实验表明,这些组件均对模型的性能提升有显著贡献。
总结与展望
本文提出的RepsNet模型在细胞核实例分割任务中表现出色,不仅在分割精度上优于现有模型,还通过结构重参数化技术显著提高了计算效率。未来的工作可以进一步优化模型的结构,探索更多的数据增强和正则化技术,以进一步提升模型的泛化能力和分割精度。
通过本文的研究,RepsNet展示了在数字病理学中的巨大潜力,有望为自动病理诊断提供更高效、更准确的工具。