分享自:

基于深度卷积神经网络的织物瑕疵自动检测

期刊:Coloration TechnologyDOI:10.1111/cote.12394

针对您提供的文档,我将其判断为类型a:单一原创研究,并以学术报告的形式进行介绍。以下是基于原文内容的详细报告:

基于深度卷积神经网络的自动织物疵点检测研究报告

一、 研究概况

本研究论文题为《Automatic fabric defect detection using a deep convolutional neural network》(基于深度卷积神经网络的自动织物疵点检测),由西安工程大学电子信息学院的景军锋(jun-feng jing)、郝马(hao ma)和张欢欢(huan-huan zhang)共同完成。该成果发表于国际期刊 *Coloration Technology*(着色技术),并于2019年由其出版商Society of Dyers and Colourists(染色师与着色师协会)发表。

二、 学术背景与研究目的

织物疵点检测在纺织品生产过程中扮演着质量控制的关键角色。纺织行业至今已定义了超过70种织物疵点,而带有疵点的织物其价格将下降45%至65%。传统的人工视觉检测方法效率会随工作时间增加而下降,因此,开发一套自动检测系统对于提升织物质量、降低人力成本与误差至关重要。

长期以来,研究者们针对具有均匀纹理结构的织物(如平纹和斜纹织物)提出了包括自相关函数(AF)、局部二值模式(LBP)、傅里叶变换(FT)、小波变换(WT)和神经网络在内的多种方法。然而,这些方法多停留在图像级别的检测,难以准确定位疵点,且泛化能力有限。近期的一些算法,如基于局部图像级别的方法,虽然使用最小单元作为基本操作对象,但在计算自相关函数时耗时较长。为解决上述挑战,本研究旨在提出一种新颖、强大且能处理不同类型疵点的自动检测方法,以实现对织物疵点的快速、准确检测与定位。

三、 详细研究流程

本研究提出了一种名为“局部图像块训练、整张图像测试”(Patches Training and Image Testing,PTIT)的方法,其核心工作流程主要包含三个递进的步骤。

步骤一:模型预训练与参数初始化

为避免因织物样本规模小而导致模型过拟合(overfitting),研究并未直接从原始织物图像开始训练,而是首先采用迁移学习(Transfer Learning)策略。研究者使用公开的MNIST(Mixed National Institute of Standards and Technology)手写数字数据集对自行设计的深度卷积神经网络(Deep Convolutional Neural Network, DCNN)模型进行预训练(pretraining)。模型在MNIST数据集上完成训练后,获得了高达98.43%的分类准确率。此阶段得到的最优模型参数(包括权重和偏置)被保存下来,作为后续织物数据训练阶段网络的初始参数。

步骤二:图像分解、数据标注与参数微调

此步骤是整个方法的基础,其核心在于处理单元的转变。与传统方法将整张原始图像作为基本操作单元不同,本研究首先自动计算织物表面的周期性,并据此将图像分解为多个局部图像块(local patches)。 1. 自动计算图像块大小:研究者创新性地采用了距离匹配函数(Distance Matching Function, DMF)的二次前向差分(second forward difference)技术,来自动、精确地计算织物图像的周期,该周期即被设定为图像块(patch)的大小。其原理是:当一个二维函数信号的自变量d等于其周期时,信号与其平移后的版本之间的差异最小,这一差异通过DMF的二次前向差分最大化来检测。通过对图像的行和列分别应用该计算,即可获得织物在水平和垂直方向上的精确周期。 2. 手动标注与数据集构建:在将原始图像分解为无数个图像块后,需要进行手动分类,将图像块区分为有疵点和无疵点两类。值得注意的是,由于一张有疵点的图像包含的缺陷块远少于无缺陷块,研究采用人工筛选的方式,确保将不同原始图像中的同类疵点图像块归为一类,而不是直接以原始图像的类别作为网络的输出类别。为了防止过拟合,研究采用了两种数据增强策略:一是对现有疵点图像块进行90°、180°和270°旋转以增加样本数量;二是在训练集中,将非缺陷子块与缺陷子块的比例设置为3:2。数据被随机打乱后,按70%和30%的比例划分为训练集和测试集。 3. 参数微调(Fine-tuning):最后,加载步骤一中预训练好的模型参数,并将带标签的织物图像块数据输入网络,对网络的所有参数进行微调。这一过程能够加速学习并优化模型的效率,使其更好地适应织物纹理特征。

步骤三:滑动窗口检测与定位

在检测阶段,本研究使用微调后训练好的模型在整张原始图像上以滑动窗口(sliding over)的方式对每个局部图像块进行测试。模型不仅判断每个图像块是否包含疵点,还识别出其所属的疵点类别。通过遍历整张图像,最终获得了每个疵点的类别及其在图像中的精确位置信息。

四、 主要实验结果与分析

为验证所提方法的有效性,研究者在三个不同的织物数据库上进行了详尽的实验,并将结果与六种先进方法进行了对比,包括三种手动设计特征的方法(GLCM, LBP, RCT)和三种基于迁移学习的经典CNN模型(LeNet-5, AlexNet, VGG16)。

1. 模型结构选择实验 研究者通过在MNIST数据集上测试四种不同深度和神经元数量的模型变体,最终选定了性能最佳的模型结构(Model-3)。该模型包含三个卷积层(特征图数量分别为16、32、64)和两个全连接层(包含2048个神经元),并在每个卷积层后加入批归一化(Batch Normalization, BN)层以加速训练和防止梯度消失。实验数据表明,模型复杂度过低或过高(如深层全连接)分别会导致过拟合和欠拟合,而选定的Model-3结构在参数量和准确率之间取得了最佳平衡,其在MNIST上的准确率达到98.43%,显著优于其他结构。

2. 图像块大小选择实验 针对平纹(C1组)、暗红色织物和星形图案织物,实验测试了不同图像块尺寸(如20×20, 28×28, 48×48, 68×68像素)对检测性能的影响。结果显示,过小的图像块无法包含足够的缺陷特征信息,而过大的图像块则会引入过多冗余信息,两者均会降低分类和定位性能。实验得出的核心机理解释是:选择的图像块大小必须至少包含一个完整的纹理周期,这是保证网络学习到有效特征的先决条件。

3. 不同数据库上的对比实验结果 研究使用局部精度(Pl)、局部召回率(Rl)和局部准确率(Accl)三个指标在图像块层面进行了性能评估。 * TILDA数据库:实验对象为300张纹理图像(包括无缺陷、破洞、拖纱、划痕、污渍、结头共6类,每类50张,尺寸256×256像素)。图像块大小固定为28×28像素。微调阶段选用645个缺陷块和430个无缺陷块,训练准确率达97.48%。测试阶段,所提方法的测试准确率(Accl)达97.20%,优于其他方法。例如,VGG16和AlexNet分别为96.38%和95.56%,而传统方法中的GLCM仅为91.57%。 * 暗红色织物数据库:该数据库为自建的色织织物数据集,包含拖纱、细条、结头、毛球四类缺陷,每类30个样本。DMF自动计算的周期为18×18像素,但考虑到工业环境中图像采集中可能的微小角度旋转,为提高算法的鲁棒性(robustness),手动将图像块尺寸设为32×32像素。训练准确率为98.62%。最终的测试准确率达到97.56%,在所有七种方法中表现最佳,而同样状况下不使用预训练时的测试准确率仅为68.60%。 * 图案化纹理织物数据库:数据集包含盒子图案、圆点图案和星形图案三种不同纹理的织物,共包含六种缺陷类型。DMF自动计算出三种织物的周期分别为25×25, 27×37和17×21像素。此数据集上,所提方法的训练准确率分别为95.58%,98.40%和96.89%,测试准确率分别为95.93%,98.01%和96.52%,性能同样在所有对比方法中领先,显现出对不同纹理类型的强大泛化能力。

4. 预训练效果与运算效率分析 消融实验数据表明,若不使用MNIST预训练而直接从零开始训练,TILDA和暗红色织物数据库上的测试准确率会骤降至75.17%和68.60%,验证了迁移学习在小样本情况下对抗过拟合的关键作用。在效率方面,所提模型包含约324万个可训练参数,仅为VGG16(约1.38亿)的2%。在中央处理器(CPU)上预测单张图像仅需89毫秒,虽然慢于LeNet-5(23毫秒),但大幅领先于VGG16(3331毫秒)和AlexNet(287毫秒)。其3000次迭代的训练时间仅需35分钟,远低于AlexNet(115分钟)和VGG16(247分钟),表明该模型能够满足工业检测对高精度和实时性的双重需求。

五、 研究结论与价值

本研究成功提出了一种新颖的、基于深度卷积神经网络和局部图像块训练-整张图像测试(PTIT)策略的织物疵点自动检测算法。该方法克服了传统方法难以准确定位、泛化能力弱以及部分深层网络模型参数量过大、实时性差的缺点。通过在三个包含多种纹理和缺陷类型数据库上的验证,该算法取得了高达97.31%的平均准确率,能够精确检测出拖纱、细条、划痕、结头、断头、污渍和破洞等多种常见疵点。其科学价值在于提出了一种结合纹理周期自动计算、局部图像块处理、迁移学习和紧凑型高效神经网络的有效范式;其应用价值在于该方法能显著提升检测效率与精度,缩短检测时间,为纺织品制造业的在线实时质量控制提供了一条切实可行的技术路径。

六、 研究亮点

  1. 创新的检测范式(PTIT):该研究摒弃了将整张图像作为直接输入的传统思路,提出“局部图像块训练,整张图像滑窗测试”的策略,将检测问题转化为对图像块的分类问题,实现了对疵点的像素级精确定位与分类。
  2. 自动周期性分析:独创性地使用距离匹配函数(DMF)的二次前向差分自动、精确地计算出织物的纹理周期,并以此确定最关键的图像块尺寸,避免了手动设置的主观性和不准确性,是该研究流程自动化的一个关键环节。
  3. 高效的模型与训练策略:设计了一个在准确率和效率之间高度平衡的紧凑型深度卷积网络,并巧妙结合了在MNIST源数据集上的预训练和在织物目标数据集上的微调,有效解决了工业场景中小样本易导致模型过拟合的难题,其参数量和计算速度显著优于AlexNet、VGG16等当时的主流深度模型,具备工业实时检测的潜力。
上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com