这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:
医学图像分割新突破:基于多尺度特征学习的Transformer-CNN混合网络MS-TCNet
作者及机构
本研究由长春理工大学计算机科学技术学院的Yu Ao、Weili Shi、Yu Miao、Wei He、Zhengang Jiang(通讯作者)团队,联合吉林大学第一医院肝胆胰外科的Bai Ji共同完成,发表于Elsevier旗下期刊《Computers in Biology and Medicine》2024年第170卷(DOI: 10.1016/j.compbiomed.2024.108057)。
研究领域
该研究属于医学图像处理领域,聚焦三维(3D)医学图像分割任务,涉及深度学习、Transformer架构与卷积神经网络(CNN)的融合技术。
研究动机
医学图像分割是疾病诊断、放疗规划和手术导航的基础,但现有方法面临两大挑战:
1. 多尺度特征捕获不足:传统CNN因感受野有限,难以建模长程依赖关系;而纯Transformer方法易忽略局部细节。
2. 特征融合效率低:现有混合模型在解码阶段易丢失高层语义信息,且缺乏针对不同分割类别的自适应融合机制。
目标
提出MS-TCNet(Multi-Scale Transformer-CNN Network),通过多尺度特征学习与融合,提升对器官/病灶形状和尺寸变化的适应性,实现更精确的3D医学图像分割。
MS-TCNet包含三大核心模块:
- 编码器:基于Shunted Transformer(分流Transformer),通过多尺度令牌聚合(Multi-scale Token Aggregation, MTA)在单层自注意力中捕获宏观与微观特征。
- 金字塔解码器:采用CNN构建六层级联结构,每级包含上采样块、特征提取块(FE Block)和输出块。FE Block引入残差连接与SCSE注意力模块(Spatial and Channel Squeeze & Excitation),强化局部特征选择。
- 多尺度特征融合模块(MSFF):轻量化设计,通过通道注意力机制为不同分割类别自适应分配特征权重。
研究在三个公开数据集验证性能:
- Synapse:30例腹部CT扫描(18训练/12测试),标注13个器官。
- ACDC:100例心脏MRI(70训练/10验证/20测试),标注右心室、左心室心肌等结构。
- MSD BraTS:484例脑肿瘤MRI(80%/15%/5%划分),标注水肿、增强肿瘤等区域。
科学价值
1. 方法学创新:首次将Shunted Transformer与CNN金字塔解码器结合,实现多尺度特征的分层精炼与自适应融合。
2. 性能突破:在跨模态数据集上验证了模型的泛化能力,尤其对形状多变的器官(如胃、胰腺)分割效果显著提升。
应用价值
- 临床辅助:可集成至放疗规划系统,提升靶区勾画效率。
- 开源贡献:代码已公开于GitHub(https://github.com/austinyuao/ms-tcnet),推动社区发展。
(注:文中图/表引用因格式限制省略,详见原文Figure 1-10及Table 1-9。)