本研究的作者为Min Li(武汉纺织大学数学与计算机学院)、Shaohua Wan(中南财经政法大学信息与安全工程学院)、Zhongmin Deng(武汉纺织大学纺织科学与工程学院)以及Yajun Wang(田纳西大学电气工程与计算机科学系),通讯作者为Shaohua Wan。该研究成果于2019年发表在期刊《Computational Intelligence》上,论文DOI为10.1111/coin.12206。该研究得到了湖北省科技厅自然科学基金(项目号:2016CFB460)和中央高校基本科研业务费专项资金(项目号:2722019PY052)的资助。
本研究属于纺织工业自动化质量控制领域,涉及计算机视觉、模式识别与机器学习等学科交叉。在纺织工业中,疵点检测(Defect Detection)是控制织物产品质量的关键环节。然而,传统的人工检测方式效率低下,即使是最训练有素的检验员,也仅能检测出约70%的疵点。随着人工智能、物联网(Internet of Things)和大数据技术的发展,许多中国纺织工厂已开始应用自动化技术来提升生产效率,因此,开发能够替代人眼的自动化织物检测系统成为学术界和工业界共同关注的热点问题。
现有的自动化织物疵点检测方法可归纳为七大类:基于结构的方法、统计方法、谱方法、基于模型的方法、学习方法、混合方法以及对比研究。近年来,视觉注意机制(Visual Attention Mechanism)在计算机视觉领域取得了显著成功。视觉显著性(Visual Saliency)计算模型旨在突出图像中最显著的目标或区域。相较于正常织物,疵点区域具有颜色稀有性、空间聚集性和高目标性等特性,因此可以被视觉显著性模型有效凸显。
已有研究者,如Li等人提出了基于学习字典(Learned Dictionary)生成显著性图(Saliency Map)的方法,以及Guan等人利用数据驱动自底向上(Bottom-Up)和任务驱动自顶向下(Top-Down)视觉注意模型进行疵点检测。然而,这些方法存在一个固有缺陷:大多数显著性模型假设图像中至少存在一个显著目标。这一假设导致在应用于无疵点的正常织物图像时,模型会产生不恰当的显著性图,常常将织物的纹理图案错误地凸显为疵点区域,从而造成较高的假阳性(False-Positive)检测率。
为降低误检率,本研究提出了一种改进的基于显著性的检测方法,其核心创新在于将疵点检测问题转化为一个基于显著性的二分类问题,通过分析显著性图的直方图特征来区分有疵点和无疵点的织物图像。
本研究提出的方法流程如图3所示,包含训练和测试两个阶段,具体可分解为三个主要步骤:
研究对象与样本量:研究构建了一个包含500张无疵点和200张有疵点织物图像的数据库,其中包含图案织物(Patterned Fabrics)300张和非图案织物(Nonpatterned Fabrics)400张。
方法选择与原理:在众多显著性计算模型中,本研究经过权衡计算复杂度和检测精度,选择了Context-Aware (CA)模型来生成显著性图。该模型由Goferman等人于2012年提出,其优势在于同时考虑了局部显著性和全局显著性。局部模型能完美保持疵点区域的边缘但会抑制内部均匀区域,而全局模型能高亮大部分疵点区域但通常会模糊边缘。CA模型的具体计算包含四个步骤:首先计算局部-全局单尺度显著性以突出独特颜色或图案并抑制均匀或模糊区域;然后进行多尺度显著性增强以进一步降低背景像素显著性并增强显著与非显著区域间的对比度;接着模拟视觉上下文效应,降低非兴趣背景的显著性并增强显著目标邻域内兴趣背景的显著性;最后利用高层因素进一步增强显著性图。
对比模型:为了验证CA模型的有效性,研究还应用了Spectral Residual (SR)模型、Graph-Based Visual Saliency (GBVS)模型以及基于协方差(Covariances, COV)的模型作为对比。
特征提取:给定一幅最高强度值为L的灰度图像I,本研究首先计算其直方图概率p(g) = n(g)/M,其中M为像素总数,n(g)为灰度级g上的像素数。基于一阶直方图概率,提取了七种统计特征:均值(Mean, μ)、标准差(Standard Deviation, σ)、偏度(Skewness, s)、峰度(Kurtosis, k)、能量(Energy, g)、熵(Entropy, e)和平滑度(Smoothness, r)。
特征选择:为评估这些特征对疵点检测的区分能力,研究采用了Fisher判别比(Fisher Discriminant Ratio)进行定量评价。Fisher判别比定义为f = (μ1 - μ2)² / (σ1² + σ2²),其值越高表明特征的类别区分能力越强。实验选取了100张有疵点和100张无疵点共200张图像进行测试。结果显示,偏度具有最大的类别区分能力,峰度也表现出很强的区分能力,约为标准差的60倍。相比之下,标准差几乎无法区分两类图像。实验还发现,有疵点图像的峰度大多大于10,表明其显著性直方图具有重尾分布。最终,本研究选取均值、偏度、峰度、能量和熵这五种特征组合成一个五维特征向量(Feature Vector)fv = {μ, s, k, g, e}。
训练与测试划分:在训练阶段,从数据库中随机选取400张无疵点和100张有疵点图像用于训练分类器,剩余图像用于测试。
分类器配置:本研究采用支持向量机(Support Vector Machine, SVM)进行二分类。由于特征向量线性不可分,选用非线性SVM,并采用径向基函数(Radial Basis Function, RBF)作为核函数,定义为φ(xi, xj) = exp(-γ||xi - xj||²),参数γ默认值为3.8,惩罚参数C设为1.2。
对比分类器:为研究不同分类器的性能,还使用了随机森林(Random Forest, RF)分类器进行对比实验。
实验以准确率(Accuracy)、精确率(Precision)和召回率(Recall)作为评价指标。结果显示,CA模型在全部三项指标上均优于其他显著性模型,准确率达到95.5%。具体而言,COV模型的准确率和精确率极低,分别为56%和53.4%,这是因为其生成的许多无疵点图像的显著性图与有疵点图像相似,导致大量假阳性误判。SR模型的召回率仅为76%,远低于CA模型的95%,原因是SR模型为有疵点图像生成的显著性图包含较低的类别区分信息,导致许多有疵点图像被误判为无疵点。
图9和图10提供了直观的视觉对比。对于区分度高的案例,虽然四种模型都能正确定位有疵点图像中的疵点区域,但CA模型生成的有疵点和无疵点图像的显著性图之间存在显著差异。对于区分度低的案例,GBVS模型生成的两类图像显著性图难以区分,SR和COV模型生成的两类图像显著性图更是高度相似,这些都会导致分类困难。
对比SVM和RF分类器的结果表明,使用CA显著性图时,SVM的准确率为95.5%,精确率96%,召回率95%,均优于RF的93.5%、96.8%和90%。分析认为,由于数据集中有疵点与无疵点图像的比例为1:4,高度不平衡的训练数据对RF分类器的准确性产生了负面影响,因为RF倾向于偏向多数类。
本研究将所提方法与Guan提出的双向视觉注意机制方法(Two-Way Visual Attention Mechanism, TVAM)和Li等人提出的基于字典的视觉显著性方法(Dictionary-based Visual Saliency, DVS)进行了比较。检测率对比显示,TVAM的准确率为70.5%,为最低,因其无法有效排除非图案无疵点织物中的假显著区域,且难以检测图案织物的疵点。DVS的准确率为78%,虽高于TVAM,但因在显著性图分割时易受无疵点图像中假显著区域影响而将正常织物误判为疵点。相比之下,本研究提出的方法在显著性图生成后,采用分类器进行分类,即便无疵点图像的显著性图中存在许多假显著区域,仍能有效区分有疵点和无疵点织物,准确率达到95.5%,较TVAM提高25个百分点,较DVS提高17.5个百分点。
在2.40 GHz Pentium IV CPU环境下,本方法的总检测时间为397.01毫秒,其中显著性图计算耗时372.93毫秒,分类耗时24.08毫秒。虽然检测精度最高,但由于CA算法计算复杂度较高,总耗时高于TVAM的318.59毫秒,但略低于DVS的402.12毫秒。
本研究成功提出了一种基于显著性直方图特征的织物疵点检测方法。该方法通过CA显著性模型生成显著性图,提取并选择最能区分两类图像的直方图特征构成特征向量,最终利用训练好的二类SVM分类器进行判断。该方法不仅适用于非图案织物,也适用于图案织物的疵点检测,且对疵点的类型和数量没有限制。
在科学价值上,本研究创新性地将疵点检测问题转化为基于显著性特征的二分类问题,为解决显著性模型在无显著目标图像上产生误导性结果这一普遍问题提供了新思路。在应用价值上,该方法显著提升了自动化织物检测的准确率,有望融入基于物联网和大数据的纺织工厂自动化质量控制体系中,推动纺织工业智能化升级。
本研究的亮点主要体现在以下方面:第一,发现了有疵点与无疵点织物图像在显著性直方图特征上的本质差异,即有疵点图像的直方图在低显著性值处有峰值,而无疵点图像在高显著性值处有峰值;第二,通过Fisher判别比系统地筛选出偏度和峰度等最具区分力的特征,为后续分类奠定了坚实基础;第三,采用分类策略而非传统的分割策略来处理显著性图,有效规避了无疵点图像中假显著区域带来的误判问题,大幅降低了假阳性率。
作者计划在未来工作中应用图割算法(Graphcut Algorithm)实现疵点区域的自动分割,并构建更高效的视觉显著性模型以降低计算时间,从而更好地满足实时检测需求。