关于“基于门控注意力块和双尺度交叉注意力机制的三维医学图像分割网络”的学术研究报告

本文由 Chunhui Jiang (姜春辉，贵州大学先进制造技术教育部重点实验室)、Yi Wang (王毅，贵阳市第一人民医院)、Qingni Yuan (袁庆妮，贵州大学先进制造技术教育部重点实验室)、Pengju Qu (曲鹏举，贵州大学) 和 Heng Li (李恒，贵州大学) 共同完成，发表于 Scientific Reports 期刊（2025年，第15卷，文章号：6159）。

一、 研究背景与目的

本研究属于医学图像处理与人工智能交叉领域，具体聚焦于三维（3D）多器官医学图像分割任务。医学图像分割是辅助临床诊断、手术规划和疾病研究的关键技术，其目标是从CT、MRI等医学影像中精确地自动勾画出目标器官或病变区域的轮廓。

当前，该领域的主流方法面临两大挑战：1) 基于卷积神经网络（CNN）的方法（如经典的U-Net及其变体）受限于卷积核的局部感受野，难以有效建模图像中长距离的依赖关系，这在处理结构复杂、尺寸多变的器官时尤为不利；2) 基于Transformer架构的方法（如Vision Transformer及其在医学图像上的应用）虽然能通过自注意力（Self-Attention）机制捕获全局上下文信息，但通常计算复杂度极高，且对空间和通道维度信息的利用不够充分或高效。此外，人体内待分割的器官数量众多、尺寸差异巨大，给模型带来了鲁棒性不足和分割结果欠佳的难题。

为此，本研究旨在提出一种新颖的网络架构，以克服上述限制。具体目标包括：设计一种能够同时有效提取局部细节和全局上下文特征的高效网络；引入动态机制来优化空间与通道信息的融合；并实现更精准的多尺度特征融合，以提升模型对大小不一、形态各异的器官的分割性能。

二、 研究方法与流程

本研究提出了一种名为 DS-UNETR++ 的新型三维医学图像分割网络。其整体架构沿用了经典的U型（编码器-瓶颈-解码器）设计，但进行了多项关键性创新。整个研究流程主要包括网络架构设计、模块创新、实验验证与结果分析。

1. 网络整体架构与数据处理流程 * 输入与预处理：输入为经过裁剪、重采样等预处理后的三维医学图像 (X \in R^{H×W×D×C})。网络首先通过一个双分支特征编码子网络，将输入图像同时投影为粗粒度（Coarse-grained）和细粒度（Fine-grained）两种尺度的特征序列。例如，对于心脏数据集，通过设置不同的卷积核步长（如[2,4,4]和[2,4,2]）来生成不同分辨率的特征图，但其序列长度（通道数）保持一致以便后续融合。 * 编码器（Encoder）：包含三个阶段。每个阶段并行处理粗粒度和细粒度两条分支。每条分支内的编码块（Encoding Block） 由一个下采样层和两个连续的门控共享权重配对注意力块（Gated Shared Weighted Pairwise Attention Block, G-SWPA） 子模块构成。G-SWPA块用于提取具有长距离依赖关系的特征。每个阶段结束后，两条分支的特征会通过一个卷积融合模块（Conv-Fusion）进行融合，该模块将一种尺度的特征下采样至与另一种尺度相同尺寸后，进行拼接和卷积操作，以整合多尺度上下文信息。 * 瓶颈层（Bottleneck）：结构与编码器类似，但特征融合部分采用了新设计的门控双尺度交叉注意力模块（Gated Dual-Scale Cross-Attention Module, G-DSCAM），取代了简单的卷积融合，旨在更深层次、更有效地融合来自双分支的跨尺度特征信息。 * 解码器（Decoder）：与编码器对称，包含三个阶段。每个解码块由G-SWPA子模块和上采样层组成。通过跳跃连接（Skip Connection）将编码器相应阶段的特征与解码器特征结合，以恢复空间细节并补充浅层信息。最后，通过卷积操作恢复至原始图像尺寸，输出分割掩码。 * 损失函数：采用Soft Dice Loss和交叉熵（Cross-Entropy）损失的组合，以同时优化区域重叠度和像素级分类准确性。

2. 核心创新模块的设计与运作机制 本研究的关键在于三个核心模块的创新： * 双分支特征编码子网络：这是网络的基础框架创新。不同于单一路径，该设计迫使网络从输入伊始就并行处理不同分辨率的特征。粗粒度分支捕捉器官的整体形态和宏观上下文，细粒度分支聚焦于边缘、纹理等微观细节。这种并行的多尺度特征提取策略，增强了模型对不同尺寸目标的感知能力，为后续的精准融合奠定了基础。 * 门控共享权重配对注意力块（G-SWPA）：这是对基线模型UNETR++中高效配对注意力（EPA）模块的改进。G-SWPA包含并行的空间注意力（Spatial Attention）和通道注意力（Channel Attention） 模块，并共享其查询（Query）和键（Key）的权重以减少参数量。其核心创新在于为两个注意力模块的输出分别引入了可学习的门控参数（Gating Parameters） (g{sa}) 和 (g{ca})。在训练过程中，模型通过反向传播动态调整这两个参数，从而自动权衡空间信息和通道信息对当前特征提取任务的贡献度。例如，对于某些图像，通道信息（如不同模态的对比度）可能更重要，门控机制会赋予通道注意力更高的权重；而对于结构复杂的图像，空间关系可能更关键。计算公式简化为：(\hat{x}s = \text{SAM}(…) \times g{sa})， (\hat{x}c = \text{CAM}(…) \times g{ca})，最终输出为两者之和并与残差连接融合。这使得特征提取更具自适应性和效率。 * 门控双尺度交叉注意力模块（G-DSCAM）：部署在瓶颈层，用于深度融合来自编码器末端的双尺度特征。其工作流程是：1) 对一种尺度（如细粒度）的特征进行全局平均池化和展平，得到一个代表其全局信息的向量；2) 将另一种尺度（如粗粒度）的特征展平；3) 将两个向量拼接后，送入一个标准的Transformer块进行交叉注意力计算，使两种尺度的特征能够充分交互；4) 在注意力计算输出后，同样引入可学习的门控参数（(g_1) 和 (g_2)），动态调节各自特征对融合结果的贡献比例；5) 通过残差连接保留原始特征信息，最后将处理后的双尺度特征下采样、拼接、卷积，输出融合后的特征。该模块通过降维后的交叉注意力实现了高效且深度的跨尺度特征融合。

3. 实验设计与评估 研究在四个公开医学图像分割数据集上进行了全面评估，以验证DS-UNETR++的有效性和泛化能力： * 数据集： * BraTS 2020：脑肿瘤分割数据集（484例MRI，分割水肿、非增强肿瘤、增强肿瘤）。 * Synapse：多器官腹部CT分割数据集（30例CT，分割脾脏、左右肾等8个器官）。 * ACDC：自动心脏诊断分割数据集（100例心脏MRI，分割右心室、心肌、左心室）。 * MSD-Heart：左心房分割数据集（30例MRI）。 * 评估指标：主要采用戴斯相似系数（Dice Similarity Coefficient, DSC） 和95%豪斯多夫距离（Hausdorff Distance 95%, HD95）。DSC衡量分割区域与真实标签的重叠度（越高越好），HD95衡量分割边界的最大误差（越低越好）。 * 对比模型：与广泛的先进模型进行了对比，包括基于CNN的模型（如U-Net, nnUNet, 3D UX-Net），基于Transformer的模型（如Swin-Unet, UNETR），以及混合架构模型（如TransUNet, UNETR++）。 * 消融实验：通过逐步添加双分支EPA模块、G-SWPA模块和G-DSCAM模块，验证了每个创新组件对最终性能的贡献。 * 实验设置：使用单块NVIDIA 4090 GPU，PyTorch框架，采用与基线模型UNETR++相同的数据预处理和增强策略，使用Dice+CE损失函数进行训练。

三、 主要研究结果

1. 在多个数据集上超越基线及主流模型：

   • BraTS数据集：DS-UNETR++的平均DSC达到83.19%，平均HD95为4.98。相比基线模型UNETR++（DSC 82.49%， HD95 5.94），DSC提升了0.7%，HD95降低了0.96。在肿瘤核心（TC）子区域上提升尤为显著（DSC提升1.22%，HD95降低1.39）。
   • Synapse数据集：平均DSC达到87.75%，平均HD95为6.67，优于UNETR++的87.22%和7.53。在右肾和胰腺等器官的分割上表现突出。
   • ACDC数据集：平均DSC为93.03%，优于UNETR++的92.83%和NNFormer的92.06%。
   • MSD-Heart数据集：DSC达到94.51%，略优于UNETR++的94.41%，展现了在单器官任务上的优异性能。 这些结果一致表明，DS-UNETR++在多种分割任务上均实现了性能提升，证明了其通用性和有效性。

2. 消融实验验证模块有效性： 在ACDC数据集上的消融实验清晰地展示了各个模块的贡献：

   • 基线（UNETR++）：DSC 92.54%， HD95 1.20。
   • + 双分支EPA模块：DSC提升至92.78%，HD95降至1.15。这证实了双分支多尺度特征提取架构的有效性。
   • + 将EPA替换为G-SWPA：DSC进一步提升至92.90%，HD95降至1.11。这证明了门控机制动态平衡空间与通道注意力的优势。
   • + 增加G-DSCAM模块（即完整DS-UNETR++）：DSC达到最高的93.03%，HD95降至1.10。这验证了在瓶颈层进行门控式深度跨尺度特征融合的必要性。 实验数据以递进的方式证明了每个创新模块都对最终性能有正向贡献，其设计是合理且有效的。

3. 可视化结果展示优越性： 论文提供了在四个数据集上的分割结果可视化对比图。与UNETR++相比，DS-UNETR++的分割结果与真实标签（Ground Truth）的吻合度更高。例如，在BraTS数据集中，DS-UNETR++能更完整地分割出散点状的增强肿瘤区域；在Synapse数据集中，对于右肾等器官，能避免出现UNETR++所产生的“中空”或不完整的错误分割；在ACDC数据集中，对右心室形状的勾勒更为准确。这些直观对比强有力地支持了定量指标的结论。

4. 模型复杂度分析： 虽然DS-UNETR++引入了双分支和额外的注意力模块，但其参数量（67.7M）和计算量（FLOPs 80.6G）仍显著低于UNETR（92.5M, 153.5G）和NNFormer（149.6M, 421.5G）等模型，而性能却更优，体现了其较好的设计效率。

四、 研究结论与价值

本研究成功提出并验证了DS-UNETR++，一个基于门控注意力块和双尺度交叉注意力机制的三维医学图像分割网络。该网络通过双分支特征编码子网络实现了多尺度特征的并行提取；通过门控共享权重配对注意力块（G-SWPA） 实现了空间与通道注意力的自适应加权融合；通过门控双尺度交叉注意力模块（G-DSCAM） 实现了深层次的跨尺度特征交互。在四个公开数据集上的实验表明，该模型在DSC和HD95关键指标上均超越了包括强大基线UNETR++在内的多种先进模型。

本研究的价值主要体现在： * 科学价值：为混合架构（CNN-Transformer）的医学图像分割模型设计提供了新思路。特别是门控机制在注意力权重分配和跨尺度特征融合中的应用，为动态、自适应的特征选择与整合提供了可借鉴的方案。 * 应用价值：所提出的模型在脑肿瘤、腹部多器官、心脏等多个关键医学影像分割任务上展现出优越性能，具有直接应用于临床辅助诊断系统的潜力，有助于提升诊断的自动化程度和准确性。 * 方法论贡献：G-SWPA和G-DSCAM模块设计具有模块化特点，可以作为即插即用（Plug-and-Play）的组件，迁移到其他视觉任务乃至自然语言处理任务中，用于改进特征提取和融合机制。

五、 研究亮点

1. 创新的双分支多尺度编码架构：从输入端开始并行处理不同粒度特征，有效兼顾了宏观结构与微观细节，增强了模型对尺度变化的鲁棒性。
2. 动态门控注意力机制：在G-SWPA和G-DSCAM中引入可学习的门控参数，使模型能够根据输入数据特性，自动、动态地调整不同信息源（空间/通道、粗粒度/细粒度）的贡献权重，而非进行固定或简单的相加/拼接，这是一种更灵活、更智能的特征融合策略。
3. 高效的跨尺度融合：G-DSCAM利用降维和交叉注意力，在计算复杂度可控的前提下，实现了双尺度特征间深层次的语义交互，有效提升了特征融合的质量。
4. 全面的实验验证：在四个具有挑战性的公开数据集上进行了充分实验，并与大量前沿工作进行了公平对比，同时辅以详尽的消融实验和可视化分析，使结论非常坚实可信。

六、 其他有价值的内容与局限性讨论

论文在讨论部分也坦诚地指出了当前工作的局限性及未来方向： * 局限性：1) 双分支结构增加了计算开销，相较于一些轻量级模型，对计算资源要求更高；2) 在编码器前三阶段仅使用卷积进行双尺度特征融合，其融合效果可能不如注意力机制；3) 存在一定的过拟合风险。 * 未来工作：针对上述不足，作者计划：1) 借鉴轻量级网络设计思想，优化双分支编码网络以降低复杂度；2) 在编码器融合阶段引入基于卷积的轻量级注意力机制；3) 采用更强的正则化技术和针对医学图像的数据增强方法来防止过拟合。

本研究是一项扎实且富有创新的工作，它通过精心设计的门控机制和双尺度交互模块，显著提升了三维医学图像分割的精度和鲁棒性，为相关领域的研究者提供了有价值的参考。