分享自:

基于混合CNN-Transformer网络与非对比CT扫描的急性缺血性卒中病灶分割

期刊:ieee transactions on medical imagingDOI:10.1109/tmi.2024.3362879

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


作者及机构
本研究由Hulin Kuang(IEEE会员)、Yahui Wang、Jin Liu、Jie Wang、Quanliang Cao、Bo Hu、Wu Qiu(IEEE会员)和Jianxin Wang(IEEE高级会员)共同完成。作者团队来自多个机构,包括:
- 中南大学计算机科学与工程学院生物信息学湖南省重点实验室
- 华中科技大学武汉国家强磁场中心
- 华中科技大学同济医学院附属协和医院神经内科
- 华中科技大学生命科学与技术学院

研究发表于IEEE Transactions on Medical Imaging,2024年6月第43卷第6期,论文题目为《Hybrid CNN-Transformer Network with Circular Feature Interaction for Acute Ischemic Stroke Lesion Segmentation on Non-Contrast CT Scans》。


学术背景
研究领域:本研究属于医学影像分析领域,聚焦急性缺血性卒中(Acute Ischemic Stroke, AIS)的病灶分割。
研究动机:非对比CT(Non-Contrast CT, NCCT)是临床诊断AIS的主流成像技术,但其低对比度、噪声和伪影使得病灶分割极具挑战性。现有方法(如基于CNN或Transformer的模型)存在局限性:CNN难以建模长程依赖关系,而Transformer需要大量标注数据且缺乏归纳偏置(inductive bias)。
研究目标:提出一种混合CNN与Transformer的网络架构,通过循环特征交互(Circular Feature Interaction)和双侧差异学习(Bilateral Difference Learning),实现NCCT图像中AIS病灶的精准分割。


研究流程
1. 网络架构设计
- 并行编码器:设计CNN编码器(基于nnUNet框架)和Transformer编码器(HybridFormer模块),分别提取局部和全局特征。
- CNN编码器:采用3D卷积层,通过下采样生成多尺度特征。
- Transformer编码器:提出新型HybridFormer块,结合池化操作(无参数)和深度卷积(DWBlock)以增强归纳偏置。
- 多级特征聚合(MFA):融合编码器最后3层的特征,通过三线性插值和逐点卷积(PWConv)对齐尺度。
- 循环特征交互模块(CFI)
- CNN-to-Transformer(C2T)块:利用通道注意力(CA)和空间注意力(SA)调整Transformer特征。
- Transformer-to-CNN(T2C)块:通过全局特征优化CNN特征。
- 共享CNN解码器:引入双侧差异学习模块(BDL),在高层语义空间学习脑部左右半球的差异特征,避免复杂的图像配准操作。

  1. 实验设计与数据集

    • 数据集
      • AISD公开数据集:397例NCCT扫描(发病至CT时间<24小时),按305/40/52划分训练/验证/测试集。
      • 私有数据集A:350例NCCT扫描(发病至CT时间小时),按245/35/70划分。
      • 外部验证集:32例NCCT扫描(来自武汉协和医院金银湖院区)。
    • 对比方法:包括9种2D方法和8种3D方法(如TransUNet、nnUNet、EIS-Net等)。
    • 评估指标:Dice系数、Hausdorff距离(HD95)、平均对称表面距离(ASSD),以及体积分析的Pearson相关系数、AUC等。
  2. 训练与优化

    • 使用PyTorch框架,在NVIDIA Tesla V100 GPU上训练。
    • 损失函数:Dice损失与交叉熵损失的加权组合(α=β=1)。
    • 优化器:SGD,初始学习率0.01,采用多项式衰减策略。

主要结果
1. 分割性能
- 在AISD数据集上,Dice达61.63±20.07%,HD95为32.73±32.35 mm,显著优于17种对比方法(p<0.005)。
- 在私有数据集A上,Dice为46.74±23.90%,HD95为15.79±9.16 mm。
- 外部验证中,Dice为43.51±28.86%,显示强泛化能力。

  1. 体积分析

    • 分割病灶体积与真实体积高度相关(AISD:r=0.972;外部集:r=0.893)。
    • 以70 ml为阈值分类时,AUC达0.909,kappa为0.876,表明模型可为临床决策(如血管内治疗)提供支持。
  2. 消融实验

    • 并行编码器:仅使用CNN或Transformer时,Dice分别下降2.74%和3.62%。
    • HybridFormer:移除DWBlock导致Dice下降1.83%。
    • CFI模块:替换为简单拼接操作后,Dice下降2.56%。
    • BDL模块:移除后Dice下降1.5%,且参数仅减少0.05M。

结论与价值
1. 科学价值
- 提出首个结合循环特征交互和双侧差异学习的混合网络,解决了CNN与Transformer特征融合的难题。
- HybridFormer通过池化和深度卷积增强归纳偏置,在小规模医学数据上表现优异。
2. 应用价值
- 为AIS早期诊断提供自动化工具,减少对MRI的依赖。
- 病灶体积和位置信息可辅助临床决策(如治疗选择及预后评估)。


研究亮点
1. 方法创新
- 循环特征交互模块(CFI)实现CNN与Transformer特征的动态互补。
- BDL模块在高层语义空间建模脑部对称性差异,避免预处理配准。
2. 性能优势
- 参数量仅38.94M,模型大小297.41MB,在计算效率与精度间取得平衡。
- 在超急性期(发病小时)数据上表现优于现有方法。


其他发现
- 在脑肿瘤(BraTS2019)和胰腺分割任务中,该模型Dice分别达83.4%和64.9%,展示跨任务潜力。
- 与大型模型SAM对比:在AISD上,SAM需人工提示且Dice仅35.29%,而本研究方法为全自动且性能更优。


局限性与展望
1. 模型参数量较大,未来可探索轻量化设计。
2. 需更多NCCT数据以进一步提升鲁棒性。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com