本研究的主要作者为Hüseyin Üzen(第一作者,Bingol大学计算机工程系)、Muammer Turkoglu(Samsun大学软件工程系)、Muzaffer Aslan(Bingol大学电气电子工程系)以及Davut Hanbay(Inonu大学计算机工程系)。该研究于2022年3月30日在线发表于Springer-Verlag旗下的学术期刊《The Visual Computer》上。
该研究属于计算机视觉与工业缺陷检测的交叉领域。在制造业中,表面缺陷检测是确保产品质量的关键环节。传统的人工目视检测因受疲劳、分心等人为因素影响,在准确性和实时性方面存在严重局限。早期的自动检测方法多基于传统的机器学习和图像处理算法,如阈值法、梯度法、Gabor滤波器等,这些方法依赖人工设计的特征提取,在面对小尺寸缺陷、与背景纹理相似的缺陷或复杂背景时,泛化能力差且迁移成本高昂。近年来,基于深度学习的方法,特别是能够实现像素级分割的全卷积网络(FCN)及其变体如U-Net,在该领域展现出巨大潜力。U-Net通过将编码器部分的低级空间细节特征与解码器部分的高级语义特征进行跳跃连接(Skip-Connection)融合,有效解决了小目标缺陷的检测难题。然而,这些方法通常直接合并不同层级的特征图,这可能会无意中抑制特征图中的某些关键信息。为了更有效地利用特征,本研究的目标是开发一种能够自适应地增强重要特征、抑制无关信息的新型像素级表面缺陷检测模型。
为了达成上述目标,本研究提出了一种名为DSEB-EUNet(基于深度可分离挤压和激励块的Efficient-UNet)的新型网络架构。该研究的完整工作流程如下:首先是模型构建,所提出的DSEB-EUNet模型以一个标准的U-Net编码器-解码器结构为基础,并进行了三项关键创新。第一项创新是设计了一个“深度可分离挤压和激励块(Depth-wise Squeeze and Excitation Block, DSEB)”,并将其置于U-Net的每一个跳跃连接处。该模块的工作原理是:不同于传统的通道压缩和空间激励(sSE)模块仅使用1x1卷积来生成权重,DSEB采用深度可分离卷积(Depth-wise Separable Convolution, DSC)和逐点卷积的组合来从输入的低级特征图中学习一个空间权重矩阵。具体来说,低级特征图首先经过一个核大小为3x3的深度卷积和随后的1x1逐点卷积,输出一个单通道的特征图;该图经过Sigmoid函数激活后,得到一个取值在0到1之间的权重矩阵;将此权重矩阵扩展至与原始输入特征图同尺寸后,进行逐元素相乘,从而实现对原始特征图的自适应加权。这种轻量级门控机制能有效突出对缺陷检测至关重要的细粒度细节。第二项创新是在解码器部分引入了一个“多级特征串联块(Multi-level Feature Concatenated Block, MFCB)”。该结构将解码器中每个层级得到的加权特征图,通过上采样操作统一到同一分辨率后,直接串联传递到网络的最后一层,从而防止关键特征在网络中间层传递过程中丢失。第三项是主干网络的选用,编码器部分采用了在ImageNet数据集上预训练的EfficientNetB0网络来提取层次化特征,EfficientNet通过复合缩放方法在深度、宽度和分辨率上达到了良好的平衡,具有很强的特征提取能力。整个模型在最后一个输出层使用Sigmoid函数对每个像素进行二分类(背景或缺陷),并通过交叉熵损失函数进行优化。在模型训练阶段,研究采用了迁移学习策略,即直接使用预训练的EfficientNetB0权重作为编码器的初始化参数。所有输入图像被统一调整为192x192像素,训练时使用了数据增强技术(如旋转、翻转和裁剪)将训练集样本扩充八倍,以提升模型的泛化能力和鲁棒性。优化过程使用了初始学习率为0.001的优化器,并采用了ReduceLROnPlateau和EarlyStopping回调函数来动态调整学习率和提前终止训练,批次大小设置为16。所提出的DSEB模块中的核大小参数C在[3, 5, 7]上进行了调优。
该研究的实验部分使用了三个在工业缺陷检测领域广泛使用的公开数据集来对模型性能进行全面评估。这三个数据集分别为MT(磁瓦表面缺陷,包含1344张图像,缺陷类型包括气孔、裂纹、磨损、断裂和不均匀)、DAGM(合成纹理表面缺陷,包含六个不同类别的复杂纹理缺陷,共6900张图像)和AITEX(织物表面缺陷,将高分辨率图像切分后得到490张256x256的图像)。实验中将每个数据集按50%的比例划分为训练集和测试集(DAGM数据集使用官方原始划分),并利用交并比均值(Mean Intersection over Union, mIoU)、F1分数和AUC面积作为评价指标。实验结果表明,所提出的DSEB-EUNet模型在所有三个数据集上均取得了最优性能。在MT数据集上,DSEB-EUNet实现了80.51%的mIoU和89.20%的F1分数,显著优于第二名Mobile-UNet(76.29% mIoU)和基础模型Eff-UNet(65.08% mIoU)。在背景复杂、缺陷区域难以区分的DAGM数据集上,DSEB-EUNet取得了75.40%的mIoU和85.97%的F1分数,相比Eff-UNet分别提升了3.6%和2.39%的mIoU和F1分数。在缺陷类型为细小划痕或与背景高度相似的AITEX数据集上,DSEB-EUNet同样表现最佳,mIoU和F1分数分别达到82.47%和90.39%。这些量化的实验结果系统地证明了本研究提出的两个创新结构DSEB和MFCB的有效性。为了进一步验证DSEB的优越性,研究者进行了消融实验,将其与基于传统1x1卷积的通道压缩和空间激励结构sSE进行了比较。结果显示,基于3x3卷积核的DSEB-EUNet在MT、DAGM和AITEX上分别取得了比sSE-EUNet高出1.41%、1.84%和3.33% mIoU的性能表现,证明了通过增大卷积核感受野来生成更有效的空间注意力权重对于检测微小和模糊缺陷至关重要。此外,模型组件分析(Ablation Experiments)也证实,在预训练EfficientNet的基础上,逐一加入DSEB和MFCB组件,模型性能在MT数据集上从66.58% mIoU逐步提升至最终的80.51% mIoU,清晰地揭示了各个组件对最终性能的累积贡献。
本研究得出的核心结论是,所提出的DSEB-EUNet架构能够有效解决表面缺陷检测中的两大核心难题——小尺寸缺陷以及因与背景高度相似而难以区分的缺陷。通过在跳跃连接中引入基于深度可分离卷积的挤压和激励机制,模型能够以较低的计算成本强化低层特征图中的关键空间细节;而多级特征串联块则确保了这些被增强的重要信息能够被无损地传递到最终的分割层。该研究的科学价值在于,它提出了一种新颖且高效的特征重标定和融合策略,为编码器-解码器架构中的特征处理提供了新的思路。其应用价值则在于,该方法在磁瓦、织物及多种复杂纹理表面上的检测性能均超越了当时的先进方法,具有应用于真实工业质检场景的巨大潜力,有助于帮助制造商以更高的精度和效率实现自动化质量控制,从而减少时间和经济损失。本研究的亮点在于,它并非简单地将现有模块堆叠,而是针对缺陷检测任务的特点,创新性地结合了深度可分离卷积与挤压-激励结构的优势,设计了专用于跳跃连接的轻量级注意力块,并通过多级特征串联进一步加强了多尺度信息的融合,最终在多个具有挑战性的公开数据集上取得了当时的最优结果。