学术研究报告

一、 研究作者、机构与发表信息

本项研究的主要作者为 Tongxue Zhou（周同雪）、Su Ruan（阮苏）和 Baiying Lei（雷柏英）。Tongxue Zhou 来自杭州师范大学信息科学与技术学院，Su Ruan 隶属于法国鲁昂诺曼底大学 AIMS 实验室，Baiying Lei 则任职于深圳大学医学部生物医学工程学院、深圳大学华南医院医学实验研究部以及国家地方联合医学超声关键技术工程实验室。该研究成果以题为《BufNet: Boundary-aware and Uncertainty-driven Multi-modal Fusion Network for MR Brain Tumor Segmentation》的学术论文形式，于 2025 年 10 月 28 日在线发表在医学图像分析领域的国际期刊《Medical Image Analysis》上（期刊卷号为 107，文章编号为 103855）。

二、 学术研究背景

本研究属于医学图像分析，特别是基于磁共振成像（Magnetic Resonance Imaging, MRI）的脑肿瘤自动分割领域。脑肿瘤，尤其是胶质瘤，是严重威胁公共健康的疾病，其早期、准确的诊断和分割对于制定有效治疗方案、改善患者预后至关重要。MRI 是诊断和监测脑肿瘤的核心工具，不同的 MRI 序列（如 T1、T1c、T2、FLAIR）能够提供关于肿瘤不同区域的互补信息。然而，实现高精度的自动分割面临两大核心挑战：首先，肿瘤内部不同亚区域（如水肿、增强肿瘤、坏死组织、非增强区域）之间的边界往往模糊且复杂，导致传统分割方法难以精确区分。其次，现有的大多数基于深度学习的分割方法通常只输出确定性的分割结果，缺乏对预测不确定性的量化，这限制了其在临床决策中的可靠性和可解释性。医生无法判断模型在哪些区域有较高的置信度，哪些区域存在较大不确定性，从而难以放心地将自动化结果用于临床。

为解决上述问题，本研究旨在开发一种新颖的、集成了边界感知和不确定性驱动的多模态 MRI 脑肿瘤分割网络（BufNet）。其核心目标在于：1）通过设计边界感知机制（Boundary-aware Mechanism, BAM）来显式提取和利用肿瘤边界信息，提升网络对复杂肿瘤亚区域的区分能力；2）提出有效的多模态融合（Multi-modal Fusion, MMF）方法，以更好地整合来自不同 MRI 序列的互补信息；3）引入不确定性量化（Uncertainty Quantification, UQ）框架，为每个分割结果提供置信度度量，并利用一种新颖的基于不确定性的损失函数来同时优化分割精度和降低不确定性，从而增强模型在临床环境中的可靠性和实用性。

三、 详细研究流程

本研究遵循了典型的深度学习研究范式，从方法设计、实验验证到结果分析，流程严谨且完整。具体流程如下：

1. 网络架构设计与核心模块开发：

   • 基础架构： 研究以多编码器 U-Net 作为基线模型。该架构包含多个编码器路径，用于独立处理不同的 MRI 模态（T1, T1c, T2, FLAIR），并通过解码器路径逐步恢复空间分辨率以生成分割图。
   • 边界感知机制（BAM）： 这是本研究的关键创新之一。BAM 模块被集成在编码路径的前三个阶段。其工作流程是：对于一对互补的模态（例如，T1 和 FLAIR），首先使用 Sobel 滤波器从其中一个模态（如 FLAIR）的特征图中提取边界信息。然后，将另一个模态（如 T1）的原始特征图与提取的边界信息进行通道拼接。接着，通过一个卷积层和 Sigmoid 激活函数生成一个注意力图。该注意力图用于对原始模态特征和边界特征进行加权融合（公式 1 和 2），使得网络能够自适应地强化与边界相关的特征，从而在早期高分辨率阶段就关注到肿瘤的精细边界结构。
   • 多模态融合方法（MMF）： 该模块应用于解码路径的不同阶段，用于融合来自多个模态的特征。与传统的平均池化或拼接方法不同，本研究提出的 MMF 同时利用全局平均池化（AvgPool）和全局方差池化（VarPool）来获取特征。平均池化捕捉整体强度分布，而方差池化（公式 4）捕捉局部特征变异，突出细粒度多样性。将两者结合形成统一特征表示后，通过一个多层感知机（MLP）生成通道注意力权重（公式 5），动态调整各通道特征的重要性，并与原始输入特征通过残差连接进行融合（公式 6）。
   • 不确定性量化（UQ）与损失函数： 研究采用蒙特卡洛 Dropout（Monte Carlo Dropout）方法来估计不确定性。在训练和推理时，通过启用 Dropout 层进行 T 次（T=10）随机前向传播，得到 T 个分割预测。不确定性分为两种：1）偶然不确定性（Aleatoric Uncertainty）：通过让网络额外预测每个体素的方差图来建模数据固有的噪声。2）认知不确定性（Epistemic Uncertainty）：通过计算 T 次预测结果相对于其均值的方差来获得，反映模型参数的不确定性。本研究最重要的创新之一是设计了一个基于不确定性的损失函数（公式 7），该函数由三部分组成：衡量预测与金标准重叠度的 Dice 损失（公式 8）、基于预测方差的偶然不确定性损失（公式 9）以及基于蒙特卡洛采样方差的认知不确定性损失（公式 10）。通过最小化这个联合损失函数，模型在优化分割精度的同时，主动降低其预测的不确定性。

2. 实验设置与数据准备：

   • 数据集： 研究在三个公开的脑肿瘤分割基准数据集上评估所提方法：BraTS 2018、2019 和 2020。这些数据集分别包含 285、335 和 369 例胶质瘤患者的 multimodal MRI 扫描（T1, T1c, T2, FLAIR）以及专家标注的 ground truth 分割图（涵盖整个肿瘤、肿瘤核心和增强肿瘤三个区域）。
   • 数据预处理： 对每个 MRI 模态的图像进行零均值、单位方差的归一化处理，并将图像尺寸统一调整为 128×128×128。
   • 实验配置： 模型使用 Keras 框架实现，在 NVIDIA RTX 4090 GPU 上进行训练。采用 8:2 的随机划分进行训练和测试。使用 Adam 优化器，初始学习率为 0.0005，并配合学习率调度和早停策略以防止过拟合。批量大小设置为 1。

3. 评估与分析方法：

   • 评估指标： 使用 Dice 相似系数（Dice Similarity Coefficient, DSC）和豪斯多夫距离（Hausdorff Distance, HD）来定量评估分割性能。DSC 衡量分割区域的重叠度，HD 衡量分割边界在空间上的最大误差。
   • 消融实验： 为了验证 BAM、MMF 和 UQ 三个核心组件的有效性，研究进行了系统的消融实验。从基线模型开始，逐步添加各个组件，并记录在三个数据集上各个肿瘤区域（WT, TC, ET）的 DSC 和 HD 变化。
   • 对比实验： 将所提出的 BufNet 与多种先进的脑肿瘤分割方法进行对比，这些方法被分为三类：基于不确定性的方法（如 UQ-BTS）、基于 U-Net 的方法（如 Attention U-Net, M2GCNet, Multi-BTS）以及基于 Transformer 的方法（如 Swin UNETR, TransBTS, VT-UNet）。对比在相同的 BraTS 数据集上进行，使用相同的评估指标。
   • 可视化分析： 研究提供了丰富的可视化结果，包括：1）消融实验中各组件对分割结果的逐步改进效果；2）与 SOTA 方法的分割结果对比；3）模型预测的不确定性图（偶然不确定性和认知不确定性）；4）网络中间层特征图的可视化，以直观展示各组件如何影响特征学习和聚焦。

四、 主要研究结果

1. 消融实验结果： 在 BraTS 2018 数据集上，基线模型的平均 DSC 为 83.2%，平均 HD 为 5.1 mm。加入 BAM 后，平均 DSC 提升至 83.9%，平均 HD 显著降低至 4.0 mm，其中肿瘤核心（TC）的 HD 从 6.5 mm 降至 3.9 mm，改善达 40%。这证实了 BAM 在增强边界特征、提升亚区域（尤其是肿瘤核心）分割精度方面的关键作用。进一步加入 MMF，平均 DSC 提升至 84.1%，显示了融合多模态互补信息的优势。最后，引入 UQ 及不确定性损失函数，模型达到最佳性能，平均 DSC 为 84.4%，平均 HD 为 3.7 mm。特别是在增强肿瘤（ET）区域，HD 从基线的 3.2 mm 降至 2.5 mm。在 BraTS 2019 和 2020 数据集上的消融实验也呈现出一致的性能提升趋势，证明了各组件在不同数据上的鲁棒性和普适性。

2. 与先进方法的对比结果： 在 BraTS 2018 数据集上，BufNet 取得了最高的平均 DSC（84.4%）和最低的平均 HD（3.7 mm），全面优于所有对比方法。例如，对比基于不确定性的 UQ-BTS（平均 DSC 84.0%， HD 4.8 mm）、基于 U-Net 的 Multi-BTS（平均 DSC 83.6%， HD 4.1 mm）以及基于 Transformer 的 TransBTS（平均 DSC 82.5%， HD 5.7 mm）和 Swin UNETR（平均 DSC 82.1%， HD 6.6 mm），BufNet 均展现出显著优势。在 BraTS 2019 和 2020 数据集上的对比结果同样显示 BufNet 在 DSC 和 HD 指标上领先于其他方法，确立了其 state-of-the-art 的性能。

3. 可视化结果分析：

   • 分割结果可视化 清晰地展示了 BufNet 的优越性。与基线和其他 SOTA 方法相比，BufNet 在复杂边界区域（如水肿与健康组织交界处）的分割更加精确，减少了过分割和欠分割现象，其预测结果与 ground truth 吻合度最高。
   • 不确定性图可视化 表明，在使用所提出的不确定性损失函数（w/ UL）训练后，模型在分割错误或边界模糊的区域会产生较高的不确定性（亮色区域），而在分割置信度高的区域不确定性较低。这与基线模型（w/o UL）产生的、与错误关联性不明确的不确定性图形成对比。这证明了 UQ 模块不仅能提供有价值的置信度信息，其损失函数还能引导模型学习更可靠的特征表示。
   • 特征图可视化 揭示了网络内部的工作机制。从基线到逐步加入 BAM、MMF、UQ，特征图的激活区域逐渐变得更加聚焦、清晰和具有判别性，特别是在肿瘤亚区域的边界处，直观地解释了模型性能提升的原因。

4. 深入分析与讨论结果：

   • 损失函数分析： 实验比较了仅含偶然不确定性损失、仅含认知不确定性损失以及两者结合的联合损失。结果表明，联合损失函数（本研究采用）取得了最佳性能，验证了同时建模两种不确定性的必要性。
   • 多模态融合策略分析： 对比了仅使用平均池化、仅使用方差池化以及两者结合的 MMF 模块。结合策略获得了最高的 DSC，证明了平均信息和方差信息具有互补性，能共同增强特征表示。
   • 模态组合分析： 尝试了不同的模态配对方式（如 T1-T1c 与 FLAIR-T2 配对，T1-T2 与 FLAIR-T1c 配对）。结果显示，采用 T1-FLAIR 和 T1c-T2 的互补配对方式（即突出肿瘤核心的模态与突出水肿的模态分别配对）取得了最佳分割效果，这符合不同 MRI 序列的生理意义。

五、 研究结论与价值

本研究成功提出并验证了一种名为 BufNet 的新型边界感知与不确定性驱动的多模态 MRI 脑肿瘤分割网络。主要结论是：通过集成边界感知机制（BAM）、创新的多模态融合方法（MMF）以及结合了偶然与认知不确定性的量化框架（UQ），该网络能够显著提高脑肿瘤及其亚区域分割的精度和鲁棒性，同时为临床医生提供每个分割体素的置信度度量。

研究的价值体现在以下几个方面： * 科学价值： 1）提出了一种有效的边界信息提取与融合机制，为处理医学图像中普遍存在的模糊边界问题提供了新思路。2）设计了一种结合平均与方差池化的多模态融合方法，丰富了多模态特征融合的策略。3）开创性地将不确定性量化直接嵌入分割损失函数进行联合优化，不仅输出不确定性图，更利用其反向指导模型训练，提升了分割性能本身，这是对现有不确定性估计方法的一个重要推进。 * 应用价值： BufNet 在公开基准数据集上达到了最先进的性能，其代码和框架有潜力转化为辅助诊断工具。更重要的是，其提供的不确定性量化输出具有极高的临床意义。它能使放射科医生或临床医生了解自动化分割结果的可靠程度，在不确定性高的区域进行重点审核或手动修正，从而在提高工作效率的同时，保障诊断和治疗规划的安全性及准确性，推动人工智能在临床实践中的可信部署。

六、 研究亮点

1. 方法创新性： 本研究不是简单的模块堆砌，而是提出了三个紧密耦合、各有侧重的核心创新模块（BAM, MMF, UQ），它们共同作用，从“边界精度”、“信息融合”和“结果可信度”三个维度系统性地解决了脑肿瘤分割的难点。
2. 不确定性驱动的训练： 提出的不确定性损失函数是核心亮点。它超越了仅将不确定性作为事后分析工具的传统做法，而是将其作为训练信号的一部分，使模型在优化过程中主动“认识并减少”自身的不确定性，实现了分割精度与模型校准度的共同提升。
3. 全面深入的验证： 研究不仅进行了严格的定量比较和消融实验，还辅以大量高质量的可视化分析（分割结果、不确定性图、特征图），从多角度、多层次验证了方法的有效性和内部机理，论证充分，可信度高。
4. 明确的临床导向： 整个研究的设计始终围绕临床需求展开，最终目标不仅是追求更高的 DSC 分数，更是为了提供具有可解释性和可靠性的辅助工具，体现了转化医学的研究思路。

七、 其他有价值内容

研究在讨论部分坦诚地指出了当前方法的局限性和未来工作方向，体现了科学的严谨性。局限性包括：1）模型依赖于多模态数据的完整性，未来需研究处理缺失模态的方法；2）边界提取目前基于 Sobel 算子，未来可探索更先进的边缘检测技术；3）不确定性图目前仅用于可视化解释，未来可探索将其作为反馈信号进一步优化分割网络。这些思考为后续研究指明了有价值的探索路径。