分享自:

1

期刊:IEEE Journal of Biomedical and Health InformaticsDOI:10.1109/JBHI.2024.3454000

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


乳腺癌诊断的多任务Transformer网络:局部-全局特征交互与多肿瘤区域引导

作者及机构
本研究由上海交通大学机械工程学院生物医学制造与生命质量工程研究所的Yi Zhang和Bolun Zeng、上海交通大学医学院附属第六人民医院超声医学科的Jia Li和Yuanyi Zheng(通讯作者)、以及上海交通大学机械工程学院兼医疗机器人研究所的Xiaojun Chen(通讯作者)共同完成。研究成果发表于2024年11月的《IEEE Journal of Biomedical and Health Informatics》(卷28,第11期)。


学术背景
乳腺癌是全球女性癌症相关死亡的主要原因,早期超声筛查(Ultrasonography)因其无创性和低成本成为重要诊断手段。然而,超声图像解读高度依赖医师经验,存在诊断差异风险。尽管基于深度学习的方法在肿瘤分割(segmentation)和分类(classification)任务中取得进展,但现有研究存在两大局限:
1. 单任务局限性:多数方法仅关注分割或分类单一任务,而临床中两者依赖相似的形态学特征(如肿瘤纹理、边界);
2. 区域信息利用不足:现有算法多聚焦肿瘤内部特征,忽视具有诊断价值的肿瘤周围区域(peri-tumoral region)信息。

本研究提出一种新型多任务网络,通过并行CNN-Transformer双流编码器实现局部-全局特征交互,并设计多肿瘤区域引导模块(multi-tumoral region guidance module)显式建模肿瘤相关区域的远程依赖关系,最终提升超声图像的肿瘤分割与分类性能。


研究流程与方法

1. 网络架构设计
研究提出三部分核心结构:
- 双流共享编码器(Dual-stream Shared Encoder)
- CNN流:采用ResNet块提取局部特征(如纹理细节);
- Transformer流:基于ViT的Trans块捕获全局上下文(如肿瘤整体形状);
- 局部-全局特征交互块(LGFI Block):通过1×1卷积和上/下采样对齐特征维度,逐阶段融合双流特征(图3)。

  • 分割分支:U-Net式解码器,通过跳跃连接(skip connection)恢复空间分辨率,输出肿瘤分割掩膜。

  • 分类分支

    • 多肿瘤区域引导模块:利用分割结果生成肿瘤内(intra-tumoral)和周围区域掩膜,通过空间注意力机制强化区域特征交互(公式4);
    • 损失函数:分割任务采用交叉熵+Dice损失,分类任务采用Focal Loss解决类别不平衡(公式8)。

2. 数据集与实验设置
- 数据集
- BUSI-SPH:合并公开数据集BUSI(780例)和私有数据集SPH(1312例),共1959张超声图像(良性1238例,恶性721例);
- 外部验证集GDPh&SYSUCC:2405张图像,测试模型泛化性。
- 训练细节:输入图像归一化为256×256,数据增强包括翻转和旋转;使用ImageNet预训练权重初始化编码器。

3. 评估指标
- 分割任务:Dice系数(DSC)、Jaccard指数(JI)、Hausdorff距离(HD)等;
- 分类任务:准确率(ACC)、AUC、F1-score等。


主要结果

1. 分割性能
在BUSI-SPH数据集上,该网络DSC达85.00%,HD为15.63,优于所有对比方法(表I)。定性分析显示,其对边界模糊(图5第4行)或灰度不均(图6行)的肿瘤分割更准确,得益于全局上下文建模能力。

2. 分类性能
- 内部验证:准确率90.10%,较次优模型DenseNet-169提升3.58%(表II);
- 外部验证:在GDPh&SYSUCC数据集上准确率80.21%,AUC 87.02%,显著优于单任务模型(表VII),证明其强泛化性。

3. 可解释性分析
Grad-CAM热图(图6)显示,多肿瘤区域引导模块使网络注意力集中于肿瘤内及周围关键区域,与医师诊断逻辑一致。


结论与价值

科学价值
1. 多任务协同:首次在乳腺癌超声诊断中实现分割与分类的软参数共享(soft parameter sharing),保留任务特异性同时提升特征利用率;
2. 区域感知机制:通过可解释的肿瘤区域引导,模拟临床医师对肿瘤微环境的分析过程。

应用价值
- 临床工具:研究成果已集成至3D Slicer平台的扩展模块(图9),支持一键式肿瘤分析与诊断;
- 泛化能力:外部验证表明模型适用于不同医疗中心的超声设备。


研究亮点
1. 创新架构:CNN-Transformer并行编码器实现浅层全局感知,突破传统U-Net的局部性限制;
2. 诊断逻辑嵌入:通过分割结果动态生成肿瘤区域先验,引导分类注意力;
3. 开源实践:公开代码与临床工具,推动AI辅助诊断落地。

局限性
1. 肿瘤周围区域大小需手动设定(n1=25, n2=15),未来拟开发自适应调整算法;
2. 未充分利用肿瘤轮廓规则性等形态学特征,后续将探索融合策略。


其他贡献
- 数据集建设:发布的SPH数据集包含1312例高质量标注超声图像,填补了亚洲人群数据的空白;
- 方法普适性:框架可扩展至其他器官肿瘤诊断,如甲状腺结节(见讨论部分)。

(全文约2400字)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com