分享自:

一种用于织物缺陷分割的高效CNN-Mamba混合网络

期刊:Results in EngineeringDOI:10.1016/j.rineng.2025.107493

本文属于类型a,即单项原创研究报告。以下是对该研究的学术报告。


一、作者与发表信息

本研究由武汉纺织大学计算机与人工智能学院的李敏(Min Li)、叶培(Pei Ye,通讯作者)、李竹婷(Zhuting Li)、崔淑琴(Shuqin Cui)、朱萍(Ping Zhu)和刘军平(Junping Liu)共同完成。论文发表于 Elsevier 旗下的开放获取期刊《Results in Engineering》2025 年第 28 卷,文章编号 107493,于 2025 年 10 月 3 日在线发表。

二、研究背景与目的

织物缺陷检测(fabric defect detection)是纺织工业质量控制中的核心环节。生产流程中的原料处理、纺纱、织造、染色和后整理等工序都可能引入破洞、污渍、褶皱等表面缺陷,直接影响产品的外观完整性和力学性能,并给制造商带来显著经济损失。传统的人工目视检测效率低、主观性强,而基于图像处理的传统算法在复杂纹理和多样缺陷形态面前表现有限。近年来,基于卷积神经网络(CNN)的方法虽取得了进展,但其有限的感受野使其在复杂背景纹理下难以准确区分缺陷与正常纹理,且对高频细节特征的捕获能力不足。Transformer 类方法虽然能够建模全局上下文,但其自注意力机制的二次计算复杂度限制了其在工业实时部署中的可行性。

Mamba 作为一种新型选择性结构化状态空间模型(SSM),以线性复杂度实现了长程依赖建模,在计算机视觉领域展现出巨大潜力。然而,作者通过 Grad-CAM 可视化分析发现,纯 Mamba 模型存在对低频特征的偏向性,可能忽略对缺陷识别至关重要的高频细节信息。在织物缺陷检测中,低频分量反映整体结构模式与宏观特征,而高频分量对应于局部突变——破洞、污渍或色度不连续等直接指示缺陷的信号。两个频谱域都不可偏废。基于这一观察,本文旨在提出一种 CNN-Mamba 混合架构,结合 CNN 的局部特征提取能力与 Mamba 的长程依赖建模能力,并通过小波特征分解模块实现频率解耦,使 Mamba 专注处理低频信息、CNN 增强高频细节,从而在较少参数下实现优于现有方法的织物缺陷分割性能。

三、研究流程与实验设计

本研究的方法学流程可以概括为网络架构设计、模块开发、数据集构建与实验验证四个阶段。

在网络架构设计方面,所提方法采用与 Vision Transformer(ViT)类似的四级层次化编码器结构。输入图像首先经过由卷积层和最大池化层组成的卷积主干(convolutional stem)提取低级空间模式,然后被分割为大小为 4×4 的非重叠图像块,经线性投影嵌入为图像令牌。四个编码阶段的空间分辨率依次降至原始输入的 1/4、1/8、1/16 和 1/32。每个阶段包含多个混合 Mamba 块(hybrid mamba block),每个混合块内部同时集成 CNN 分支和 Mamba 分支,前者负责局部特征提取,后者负责全局依赖建模。阶段之间通过 patch embedding 层调整特征分辨率和通道维度。

在模块开发方面,本文设计了两个关键组成模块。CNN 块采用 3×3 的 WTConv(小波卷积)操作提取局部特征,随后经两个 1×1 卷积进行通道调整,中间使用 GELU 激活函数,并通过残差连接将结果与输入相加。WTConv 是一种集成小波变换的卷积层,利用 Haar 小波将输入特征图递归分解为低频(LL)和高频(LH、HL、HH)分量,对每个频带应用小核卷积后再通过逆小波变换(IWT)组合输出,从而以较小卷积核获得较大的有效感受野。

Mamba 块的核心是小波特征分解(wavelet feature decomposition,WFD)模块。该模块首先用 Haar 小波变换将特征图分解为低频分量 X_LL 与三个方向的高频分量 X_LH、X_HL、X_HH,然后按通道比例参数 α 将特征分为低频支路 X_low 和高频支路 X_high。低频支路由 SS2D(四方向选择性扫描)模块处理——该模块将 2D 特征图沿自上而下、自下而上、从左到右、从右到左四个正交方向展平为 1D 序列后进行选择性扫描,再拼接还原为 2D 特征图,从而克服 1D 扫描造成的空间不连续性;高频支路由 5×5 WTConv 层处理以捕获细节。两支路输出融合后经两个 1×1 卷积和 GELU 激活,并通过残差连接得到最终输出。作者还从频率响应角度解释了这一设计的动机:对 Mamba 的状态空间方程进行傅里叶变换后,其频率响应函数 H(ω)=C(e^{iω}I−A)^{-1}B 在低频区(ω≈0)被放大,而在高频区(ω→π)被抑制,该非均匀频率响应从理论上证实了 Mamba 的低频偏向性。

在数据集方面,研究使用了三个织物数据集。第一个是自建的“四类织物缺陷数据集”(four fabric defects dataset),包含破洞(hole)、油污(oil)、污渍(stain)和纱线错误(threaderror)四类缺陷。原始数据含 325 张图像,经旋转、随机裁剪和亮度调整等数据增强后扩充至 1625 张,统一分辨率为 512×512。该数据集由两位纺织专家参与标注,并公开发布。第二个是公开的 Fabric Dataset [63],包含 1600 张单一背景纹理样本,仅进行缺陷与背景的二分类,其伪缺陷和弱特征信号给检测带来显著挑战。第三个是 ZJU-Leaper 数据集 [64],这是目前最大的公开织物缺陷基准,包含 15 种织物纹理类别,按背景复杂度分为四组。本研究从每种纹理中随机选取 500 张,共 7500 张图像用于实验。

在实验配置方面,全部实验基于 MMSegmentation 框架实现,采用随机梯度下降(SGD)优化器,基础学习率为 0.01,动量为 0.9,权重衰减为 0.0005,最大迭代次数为 40000,批量大小为 8,在单张 RTX 4090 GPU 上执行。评价指标采用平均交并比(mIoU)、平均准确率(mAcc)和平均 Dice 系数(mDice)。对比方法包括六种最新方法:UniRepLKNet、OverLoCK、EDAFormer、TransXNet、VMamba 和 MobileMamba。

四、主要实验结果与分析

在四类织物缺陷数据集上,本方法达到了 86.29% 的 mIoU,超过 MobileMamba 0.28 个百分点,同时参数量减少了 4.6M,仅为 15.1M。mAcc 达到 94.79%,mDice 达到 92.35%,均为所有对比方法中最高。逐类分析显示,本方法在破洞类别的 IoU 达到 81.93%,显著优于所有基线方法;在油污和污渍类别的 IoU 分别为 93.90% 和 86.22%,与最优基线相当或更优。在真实扰动条件(亮度、对比度、饱和度变化)下,本方法持续保持稳定准确的缺陷定位,而其他方法出现了边界碎片化和背景误检等问题。

在 Fabric Dataset 上,由于该数据集存在细微缺陷特征和伪缺陷,所有方法的整体精度都相对较低。本方法仍以 69.35% mIoU、74.87% mAcc 和 77.89% mDice 排名第一。值得注意的是,性能第二的 OverLoCK 虽然 mIoU 仅低 0.29%,但其参数量为本方法的 4 倍以上(63.3M 对 15.1M),本模型仅用其 24% 的参数量即实现了更高精度。

在 ZJU-Leaper 数据集上,本方法在四个难度组别中均取得最优 mIoU 和 mDice。在相对简单的 Group 1 和 Group 2 中,本方法 mIoU 分别为 85.84% 和 85.72%;在纹理更复杂的 Group 3 和 Group 4 中,mIoU 分别达到 87.07% 和 87.75%,明显拉开与第二名的差距。可视化结果显示,在复杂纹理下,单模态模型如 OverLoCK 频繁出现漏检和背景误检,而本方法能够稳定地精确定位缺陷且边界清晰。这一跨难度级别的稳定表现表明,混合架构在复杂织物纹理下具有更强的鲁棒性和泛化能力。

消融实验进一步验证了各模块的贡献。以纯 CNN 基线(mIoU 72.59%)为参照,引入 Mamba 后 mIoU 提升 7.45 个百分点至 80.94%;在 CNN 中引入 WTConv 提升 2.61 个百分点至 75.20%;CNN+Mamba 混合架构达到 82.32%;进一步加入 WTConv 达到 84.46%;最终加入 WFD 模块后达到 86.29%,较不含 WFD 的版本提升 1.83 个百分点。关于 WFD 模块中通道分配比例系数 α 的消融研究表明,四阶段 α 值设为 [0.25, 0.5, 0.5, 0.75] 时取得最优 mIoU(86.29%)和最高吞吐量(51.22 images/s),而均匀分配(均为 0.25 或 0.5)性能较差,说明早期阶段侧重低频、后期阶段侧重高频的分配策略最有利于兼顾精度与效率。

在模型复杂度方面,本方法具有所有对比方法中最低的参数量(15.1M),FLOPs 为 29.1G,推理时间为 19.5 ms。MobileMamba 虽在 FLOPs(5.6G)和推理时间(19.1 ms)上略优,但 mIoU 略低。CNN 类方法如 UniRepLKNet 和 OverLoCK 参数量高达 61.5M 和 63.3M,FLOPs 分别为 236G 和 241G,且分割性能反而不及本方法。

五、结论与研究价值

本研究提出了一种基于 CNN-Mamba 混合架构的织物缺陷分割模型。通过可视化分析揭示 Mamba 模块的低频偏向性,作者设计了小波特征分解(WFD)模块,利用 Haar 小波变换进行频率解耦,使 Mamba 专注处理低频全局信息,CNN 增强高频局部细节,最终通过多频融合提升特征表示能力。三个织物数据集上的大量实验证明该模型在简单和复杂纹理中均能有效识别和定位缺陷,以最少参数量超越现有方法。

在科学价值方面,本研究首次从频域分析角度系统解释了 Mamba 在视觉任务中的低频偏向特性,并通过 WFD 模块设计提供了一个可推广的频率解耦范式。这一设计思路不仅适用于织物缺陷分割,也可为其他对高频细节敏感的任务提供参考。在应用价值方面,15.1M 的参数量和 19.5 ms 的推理时间表明该模型具备在资源受限的工业环境中实时部署的潜力,对于推动织物质量检测的自动化和智能化具有现实意义。

六、研究亮点

本研究的主要亮点包括:第一,通过频率响应函数的理论推导和 Grad-CAM 可视化分析,首次明确揭示了 Mamba 模型在织物缺陷检测中的低频偏向性问题;第二,提出了小波特征分解(WFD)模块,利用 Haar 小波变换实现频率解耦,引导 Mamba 和 CNN 分别处理低频和高频信息,这是一个新颖的架构设计思路;第三,自建并公开发布了四类织物缺陷分割数据集,为后续研究提供了基准;第四,在多个数据集上以最低参数量取得最优性能,兼顾了精度与效率。

七、局限性与未来工作

作者在文中也指出了研究的局限性:训练样本有限且存在类别不平衡,过拟合风险仍然存在;模型对罕见和复杂缺陷类型的适应性有待进一步验证;WFD 模块采用固定频率划分,未必在所有织物纹理和尺度上均为最优。未来工作包括构建包含更多缺陷类别、更多织物材料和更多环境干扰条件的大规模数据集,发展自适应频率解耦机制,以及探索自监督学习和小样本学习策略以进一步提升模型的鲁棒性和泛化能力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com