《分子影像学杂志》(Journal of Molecular Imaging)于2025年12月26日网络首发了由李惠莲(泉州东南医院超声科、福建医科大学附属第二医院超声科)、李芙蓉(兰州大学信息科学与工程学院)、柳培忠(华侨大学工学院)、何韶铮(福建医科大学附属第二医院超声科)共同完成的研究论文《人工智能多任务模型在胎儿心脏超声标准切面识别与结构分割中的应用》。该研究属于医学影像学与人工智能交叉领域的原创性研究,旨在通过深度学习技术解决胎儿心脏超声诊断中的关键临床问题。
学术背景
胎儿心脏超声检查是产前筛查先天性心脏病(CHD)的核心手段,其中标准切面(Fetal Cardiac Standard Planes, FCSP)的识别与关键解剖结构的分割是诊断的基础。然而,传统方法高度依赖医师经验,存在主观性强、效率低等问题。尽管已有研究尝试利用卷积神经网络(CNN)实现切面自动分类,但普遍缺乏对结构级信息的建模,导致模型可解释性与临床适用性受限。本研究创新性地提出基于YOLOv11的多任务学习框架,首次将标准切面识别与关键结构实例分割统一建模,以提升产前筛查的自动化水平与结构化输出能力。
研究流程与方法
1. 数据准备与标注
研究纳入福建医科大学附属第二医院2021年1月至2023年7月的1300例单胎妊娠孕妇(孕18-24周)的3312帧胎儿心脏超声图像,涵盖5类标准切面:心尖四腔心切面(4CH)、三血管切面(3VV)、三血管气管切面(3VT)、右室流出道切面(RVOT)、左室流出道切面(LVOT),以及10类关键结构(如左/右心室、肺动脉等)。数据由3位副主任医师联合标注,采用LabelMe平台完成结构级掩码标注,并通过交并比(IoU>0.7)验证标注一致性。数据集按8:1:1划分为训练集(2649帧)、验证集(333帧)和测试集(330帧),确保类别分布均衡。
2. 模型构建
研究以YOLOv11为基础网络,设计多任务学习框架:
-
Backbone:采用CSPDarknet53提取多尺度特征,融合浅层纹理与深层语义信息。
-
Neck:通过PANet(Path Aggregation Network)实现特征金字塔融合,增强小目标检测能力。
-
双任务输出头:
-
实例分割头:采用Mask Embedding机制生成结构级掩码,损失函数结合Dice Loss与二元交叉熵(BCE),提升边界模糊结构的鲁棒性。
-
分类头:新增全局平均池化层与全连接层,输出5类切面概率,使用交叉熵损失函数。
-
总损失函数为两任务损失的加权和(权重经实验优化)。训练中引入随机裁剪、亮度调整等数据增强,并采用DropBlock正则化与早停策略防止过拟合。
3. 训练与评估
实验配置:NVIDIA A100 GPU(40GB显存)、PyTorch 1.13框架,输入图像统一缩放至640×640像素。优化器选用AdamW,初始学习率1e-4,Batch Size为16,训练100轮次,前10轮采用Warm-up策略,学习率通过Cosine Annealing动态调整。评估指标包括:
-
实例分割:平均精度(mAP@0.5、mAP@0.5:0.95)逐类计算10类结构的定位与分割性能。
-
切面识别:准确率、宏平均F1分数、AUC及混淆矩阵分析。
主要结果
1. 实例分割性能
模型在测试集上表现优异:
-
定位任务:mAP@0.5达0.937,其中左/右心室(LV/RV)的mAP@0.5均超过0.99。
-
分割任务:mAP@0.5为0.920,但小目标结构(如气管TR、上腔静脉SVC)的mAP@0.5:0.95较低(0.223-0.282),反映尺度敏感性。
对比实验中,本模型显著优于Mask R-CNN(mAP@0.5提升16.8%)与YOLOv8(提升4.7%),尤其在主肺动脉(MPA)等复杂结构分割中优势明显(图4可视化结果)。
2. 切面识别性能
模型总体准确率91.8%,宏平均F1分数0.909,AUC达0.976。4CH切面识别最佳(F1=0.950),而3VV与3VT存在交叉混淆(召回率0.871-0.909),可能与切面结构相似性相关。与ResNet50、VGG16等基线模型相比,本模型准确率提升3.4%-5.1%,证明多任务协同学习的优势。
结论与价值
本研究构建的YOLOv11多任务模型首次实现了胎儿心脏超声图像中标准切面识别与结构分割的端到端联合建模,具有以下突破:
-
科学价值:提出“结构-功能-切面”一体化建模范式,通过实例分割反哺分类任务,增强模型可解释性。
-
临床价值:为产前CHD筛查提供结构化输出(如心室容积定量、血管空间关系),辅助医师快速定位异常。
-
技术创新:
-
改进YOLOv11的Mask Embedding机制,优化超声图像低对比度下的分割鲁棒性。
-
设计动态加权多任务损失函数,平衡分类与分割的梯度冲突。
-
亮点与局限
亮点:
-
首次实现胎儿心脏超声多任务联合建模,mAP@0.5与AUC均达国际领先水平。
-
开源标注数据集(3312帧)为后续研究提供基准。
局限:
-
小目标结构(如气管)分割性能有待提升,未来需引入注意力机制增强特征表达。
-
数据来源单一中心,需跨机构验证泛化性。
该研究为智能超声诊断提供了新思路,后续可结合时序信息(如心动周期)进一步优化动态扫描分析能力。