作者与发表信息
本研究由山西大学大数据科学与产业研究院及山西省进化科学智能重点实验室的Yantao Song(宋燕涛)、Weixiang Dou(窦伟祥)、Yuhua Qian(钱宇华)、Jieru Jia(贾洁茹)和Zheqing Zhu(朱哲清)共同完成,其中Yuhua Qian为通讯作者。论文发表于医学图像分析领域的顶级期刊 *Medical Image Analysis*,2026年第111卷,文章编号104019,于2026年3月6日在线发表。
研究背景与目的
医学图像分割是现代精准医疗、智能诊断和手术导航等技术发展的基石,具有深远的学术与临床意义。近年来,深度学习技术的兴起极大地推动了该领域的发展。卷积神经网络(Convolutional Neural Networks, CNNs)在局部特征提取方面表现优异,以U-Net为代表的架构已成为医学图像分割的里程碑。然而,CNN受限于固定大小的卷积核和局部感受野,难以有效建模长距离依赖和全局上下文信息。Transformer架构通过自注意力机制有效捕捉全局上下文,但其计算复杂度较高,且在精细局部特征的提取上存在不足。混合架构试图结合二者优势,但模型复杂度的增加以及卷积与自注意力机制的有效整合仍是尚未完全解决的难题。
Mamba作为基于状态空间模型(State Space Model, SSM)的新兴架构,以线性计算复杂度实现了对长序列的有效建模,为长距离依赖建模提供了新的思路。然而,现有基于Mamba和卷积的医学图像分割方法大多侧重于空间域特征提取,忽视了频域表示在全面刻画图像属性方面的重要潜力。频域信息能够揭示图像中潜在的结构模式和全局信息,每一频域分量都源于对整个图像的全局计算,天然具备全局感受野。尤其在医学影像中,病灶区域往往表现为特定频率分量的变化,因此频域特征的引入具有重要的临床意义。
基于上述观察,本研究提出了一个名为FreqConvMamba的分层网络架构,旨在通过频率引导的特征提取机制,在空间域和频域同时建模局部与全局信息,从而在保持较低参数量的同时实现分割精度的提升。
详细工作流程
FreqConvMamba采用对称的U形编码器-解码器结构,包含编码器、解码器和跳跃连接。输入图像首先经过初始补丁嵌入层,将三维图像转换为C维令牌。该架构采用双域特征提取策略:在浅层阶段使用频率引导卷积模块(Frequency-Guided Convolution Module, FGCM)进行局部特征提取,在深层阶段集成频率引导Mamba模块(Frequency-Guided Mamba Module, FGMM)进行全局上下文建模。下采样和上采样分别由补丁合并和补丁扩展模块处理,跳跃连接将多尺度编码器特征传递到对应的解码器阶段。
FGCM的设计动机在于:浅层特征图因其较高的空间分辨率,特别有利于保留局部结构信息。传统卷积操作在局部感受野内进行加权求和,往往导致过平滑和目标边界模糊。为此,FGCM采用双分支框架:第一条分支通过3×3卷积、层归一化、激活函数和1×1卷积的序列操作捕获空间外观特征;第二条分支为基于小波的频率特征提取(Wavelet-based Feature Extraction, WFE)模块,采用离散Haar小波变换将特征图分解为四个频率子带——低频分量(LL)包含全局结构信息,高频分量(LH, HL, HH)分别捕捉水平、垂直和对角方向的边缘与纹理变化。四个频率分量沿通道维度拼接后进行上采样和通道压缩以实现多频率特征融合。频率特征与空间特征通过逐元素相加进行融合,并引入残差连接保持结构保真度,最后通过通道注意力机制自适应地重新校准聚合特征图。
FGMM模块则针对全局上下文信息建模的需求而设计。Mamba模块源自VM-UNet,其SSM分支中,输入数据经过层归一化和线性变换后进入SS2D模块,该模块通过交叉扫描、S6块选择性扫描和交叉合并三个步骤,从四个不同方向展开序列并并行处理,在不增加线性计算复杂度的前提下建立全局感受野。频率块(Frequency Block)中,输入特征通过二维快速傅里叶变换(FFT)获得频域复数表示,其实部和虚部沿通道维度拼接,以保持复数特征间的互补性。随后通过轻量级的空间卷积(深度可分离卷积)对每个频率通道独立处理,并通过残差连接引入频率位置编码(Frequency Position Encoding, FPE),在保留频率维度独立性的同时融入局部空间结构建模。处理后的频域特征按照预设组数n进行分组卷积,通过逐点卷积生成空间位置相关的分组权重,实现动态频率分组卷积(Dynamic Frequency Grouping Convolution, DFGConv),对每个频率组的特征进行自适应融合。最终经过激活函数和二维逆快速傅里叶变换(IFFT)恢复到空间域。
在数据集方面,研究在五个涵盖三种成像模态的公开数据集上进行了评估:超声图像数据集TN3K(训练2879例,测试614例)和MMOTU(训练820例,测试382例)、皮肤镜图像数据集ISIC2017(训练1500例,测试650例)和ISIC2018(训练1886例,测试808例),以及心脏MRI分割数据集ACDC(70例患者的1304张轴向切片用于训练,30例患者的222张切片用于测试)。所有图像调整至224×224尺寸,使用AdamW优化器,初始学习率1e-3,采用余弦退火学习率调度,在NVIDIA GeForce RTX 4090 GPU上训练200至250个epoch。
消融实验部分包含四个方面:频率位置编码有效性的对比实验表明,FPE模块取得了最高的Dice系数89.19%和平均交并比80.64%,优于空间位置编码、频率箱索引和无位置编码方案;DFGConv模块分组数n的敏感性分析显示,n=2时达到最优的性能-参数平衡,进一步增加至n=3会导致性能下降;分层结构有效性实验表明,随着FGMM层数增加,模型参数量逐渐减少,且在早期增加FGMM层数时分割性能呈现逐步提升趋势;模块协同消融实验显示,完全集成的FreqConvMamba相比基线配置在Dice得分上获得了0.77%的显著提升,且计算成本仍与较低集成度的变体保持可比水平。
主要研究结果
在皮肤病损分割数据集ISIC2017和ISIC2018上,FreqConvMamba分别取得了88.37%和89.19%的Dice系数,均优于所有对比方法。在ISIC2018上与专门针对皮肤病变分割设计的SkinMamba相比,Dice系数提升了0.21个百分点;与轻量级Mamba模型AMF-Unet和SFMA-UNet相比,在参数量相近的情况下仍具有显著优势。
在超声图像数据集TN3K和MMOTU上,该方法分别获得了86.85%和88.02%的Dice系数,相较于次优方法分别提升了0.65%和0.83%。这一优势主要归功于FGCM模块在频域中提取高频特征的能力,有效缓解了超声图像中目标与背景对比度低所导致的分割瓶颈。
在ACDC心脏MRI数据集上,该方法取得了89.79%的平均Dice系数和最低的标准差(±1.58%),虽然左心室分割的Dice略低于MedMamba,但其标准差显著更优,表明模型在不同测试样本上表现出更为稳定和一致的性能,具有更强的鲁棒性。
统计显著性检验方面,研究者汇总了来自五个数据集的2676张图像,采用Wilcoxon符号秩检验对样本级比较进行了全面假设检验。结果显示,该方法相比次优模型AMF-Unet的p值为1.29×10⁻²⁵,相比第三名SkinMamba的p值为3.27×10⁻³²,均远低于0.05的显著性阈值,证实了性能提升的统计显著性。
可视化定性分析表明,FreqConvMamba在三个模态的分割任务中均更接近真实标签。在ISIC2017中目标与背景对比度极低、边界模糊的挑战性案例中,该方法利用高频分量精确定位边界并有效抑制背景噪声;在TN3K超声图像中,CNN类模型虽然边界分割相对准确但全局结构保持不足,Transformer类模型全局建模能力强但边界平滑度不足,而FreqConvMamba通过Mamba提取全局结构信息、卷积获取局部细节特征,并通过频域知识调制两类特征,实现了全局结构与精确边界的最佳平衡。
研究结论与价值
FreqConvMamba通过频率域增强的混合SSM-CNN架构,有效解决了医学图像中不同模态病灶高度可变、纹理复杂、边缘模糊和周期性结构等固有挑战。其分层设计——浅层结合卷积与Haar小波变换增强局部特征提取,深层集成Mamba与傅里叶变换捕获长距离依赖和全局结构信息——在五个不同模态数据集上的实验结果表明,该模型在计算效率和分割性能之间取得了卓越的平衡。本研究的科学价值在于:首次在SSM-CNN混合架构中系统性地引入频率域信息对局部和全局特征提取进行协同增强,通过FPE模块解决了频域特征空间感知不足的问题,通过DFGConv实现了对频率分量的动态自适应调制。应用价值方面,该模型在参数量显著低于多数对比方法的同时实现了最优分割精度,为资源受限的临床场景提供了可行的技术方案。
研究亮点
本研究的核心创新在于频率引导的分层特征提取机制。FGCM通过Haar小波变换将浅层特征分解为不同频率分量,有效增强了解剖边界等精细细节的表征;FGMM在深层将傅里叶变换与Mamba有机结合,通过DFGConv动态融合不同频率子空间的特征;FPE模块直接在频率维度编码位置信息并通过残差连接融入特征,在不损害频率表示完整性的前提下增强了空间感知能力。此外,该工作在五个数据集、三种成像模态上的全面验证,以及严格的统计显著性检验,为方法有效性和泛化能力提供了坚实的证据支撑。