本研究由来自常州大学信息科学与工程学院的刘威、梁久祯、贾靓、顾程熙以及常州信息职业技术学院智能制造工业云开放实验室的常兴治共同完成。该研究成果于 2018年2月发表在学术期刊 《模式识别与人工智能》 (Pattern Recognition and Artificial Intelligence)第31卷第2期上,论文引用信息为:刘 威,常兴治,梁久祯,贾 靓,顾程熙.基于局部最优分析的纺织品瑕疵检测方法.模式识别与人工智能,2018,31(2):182-189.
本研究属于机器视觉与工业自动化检测领域,核心目标是解决含有复杂周期性图案的纺织品表面瑕疵自动检测难题。纺织品质量检测是工业生产中的关键环节,主要通过图像处理技术分析织物图像以判断是否存在瑕疵。然而,瑕疵类型的不确定性是该领域的最大挑战。
现有的纺织品瑕疵检测方法主要针对两类织物:第一类是结构简单、无复杂图案的纯色纺织品;第二类是含有复杂周期性图案的纺织品。针对第一类织物,已发展出统计方法(如自相关函数、共生矩阵)、谱方法(如傅里叶变换、Gabor滤波、小波变换)、模型法(如自回归模型、马尔可夫随机场模型(Markov Random Fields,MRF)等成熟方案,但这些方法难以处理瑕疵面积较大或纹理复杂的情况。对于第二类织物,尽管已有小波预处理黄金图像相减法(Wavelet Preprocessed Golden Image Subtraction,WGIS)、布林带法(Bollinger Bands,BB)、规则带法(Regular Bands,RB)、棋盘法(Elo Rating,ER)及图像分解法(Image Decomposition,ID)等算法,但它们多为有监督算法,需要大量训练参数,且对小面积瑕疵检测效果不佳,查全率(Recall)有待提高。
传统的马尔可夫随机场(MRF)模型在处理纯色纺织品时,将每个像素视为独立同分布,通过训练模型参数进行瑕疵检测。然而,对于含有周期性图案的纺织品,像素点的分布也呈周期性,相邻像素间的相关性较小,因此从像素级别建模的方法不再适用,且计算复杂度极高。为克服这些局限性,本研究旨在提出一种无监督的、改进的马尔可夫随机场模型,通过将分析单元从“像素”提升至“图像块”,并引入局部能量最优化的策略,实现对复杂周期性图案纺织品瑕疵的高效检测,尤其侧重于提升检测的查全率。
本研究提出了一种基于局部最优分析的纺织品瑕疵检测方法,其完整工作流程分为三个核心步骤:确定图像基本模板并分块、构建改进的MRF模型并进行局部能量最优化、瑕疵定位与检测。实验部分采用了香港大学电气与电子工程系工业自动化研究室的纺织品样本库进行验证。
1. 确定图像基本模板与图像分块 这是本研究方法的基础与首要创新环节。针对周期性图案的纺织品,研究者首先假设存在一个最优的基本图案模板,如果按此模板尺寸将图像分割成若干个图像块,这些块之间应满足独立同分布,且块间差异服从高斯分布。该模板的特点是,能使所有图像块之间像素值的标准差总和达到最小。为寻找此模板,研究采用了一种遍历搜索策略。以示例图像为例,首先假设模板宽度与图像宽度相等,然后让模板高度在1到图像高度一半(N/2)的范围内,以1个像素为步长进行遍历。每选定一个模板高度,便将图像按此高度进行分块,计算所有相邻两块对应像素点的标准差,并得到所有标准差的均值。通过寻找标准差均值曲线上的极小值点,可以确定出多个周期性的高度值,最终选择面积最小的组合,即21×16像素作为该类型样本的周期模板。同理,通过固定高度遍历宽度可确定模板宽度。利用此方法,研究确定了样本库中三种织物类型(star、box、dot)的模板尺寸,分别约为21×16、26×24、27×36像素。随后,所有样本图像均按此模板被精确裁剪并分割成大小一致、图案相似的图像块集合,这些图像块成为后续模型处理的基本单元。这一策略显著增强了计算单元间的相关性,并降低了计算复杂度。
2. 改进的马尔可夫随机场模型与局部能量最优化 在完成图像分块后,研究针对区块级单元对传统的MRF模型进行了三点关键改进。
首先,构建全局模板。为有效衡量每个图像块是否含有瑕疵,研究通过对所有图像块叠加后计算每个像素位置的中位数,构建出一个代表无瑕纹理的“全局模板”(Global Template,GT)。通过计算每个图像块与全局模板的相似系数矩阵,可以清晰发现,含瑕疵的图像块与全局模板的相似度显著低于无瑕块,这为判定瑕疵提供了重要测度。
其次,重新定义势函数。传统的MRF模型势函数是基于单个像素定义的,无法适用于图像块。本研究改进了能量函数及势函数,使其适应区块级的MRF模型。新的局部能量函数综合考虑了当前图像块与其四邻域图像块的差异。具体地,一阶势函数定义为当前图像块与全局模板所有像素差的平方和的均值;二阶势函数则根据邻域块的标记(有瑕或无瑕)分为两种情况计算:若邻域块与当前块标记相同,则计算两块像素差的平方和的均值;若标记不同,则定义为常数1。这样,局部能量就综合了全局模板的差异性和局部邻域的一致性。
最后,求解局部能量最优。该模型将瑕疵检测问题转化为一个二分类问题,即寻找一个能使所有图像块局部能量总和最小的标记场(0表示无瑕,1表示有瑕)。模型引入了一个决策值λ,在(0,1)范围内遍历。当一个图像块与全局模板的相似系数小于λ时,该块的标记被改变。算法计算标记改变前后整幅图像的总能量,若总能量降低,则新标记被接受;否则保持不变。通过迭代优化,最终实现所有图像块的局部能量达到最优稳定状态,从而完成对瑕疵区域的全局判断。这种方法将求解复杂模型参数的问题,巧妙转化为一个寻找局部能量最优的决策过程。
研究使用样本库中的三种类型纺织品(star、box、dot)共计81幅瑕疵图像(star型25幅,box型26幅,dot型30幅)进行了实验验证,并与WGIS、ER及文献[24]中的方法进行了对比。评估指标包括真阳性率(True Positive Rate,TPR,即查全率)、假阳性率(False Positive Rate,FPR)和阳性预测值(Positive Predictive Value,PPV,即查准率)等。
实验结果显示,本文方法取得了较高的查全率。在总体81幅图像中,成功检测出79幅,检出率达98%。具体地,star型、box型和dot型的查全率分别达到73.93%、76.34%和87.28%。与ER及WGIS方法相比,本文方法在大部分图像类型上的查全率均有大幅、明显的提升,例如在star型的“破洞(hole)”瑕疵上,本方法查全率达到90.86%,而ER和WGIS仅分别为24.47%和0.34%。在dot型的所有瑕疵类型上,本文方法的查全率均为最优或接近最优。
然而,该方法的查准率表现中等,约为30%。其假阳性率相比ER等方法偏高。例如,star型、box型和dot型的整体FPR分别为2.59%、5.30%和11.46%,高于ER的1.54%、1.39%和0.04%。这主要是因为检测是基于图像块级别进行的。当一个图像块被判定为瑕疵时,其内部即使有无瑕像素也会被全部标记,导致检测区域大于实际瑕疵,从而产生了较大面积的误检。尽管如此,通过查全率-查准率散点图可以看出,本文方法的散点分布相对集中,表现出对各类瑕疵具有较好的普适性。这些结果共同表明,本文方法通过牺牲部分查准率,极大地提升了瑕疵的检出能力,这对工业应用中“不可漏检”的严苛要求具有重要价值。
本研究成功提出了一种无监督的、适用于复杂周期性图案纺织品的瑕疵检测新方法。其核心科学与应用价值在于:(1) 通过在图像块级别而非像素级别进行建模,有效解决了像素点间相关性弱导致的建模困难,并显著降低了计算复杂度;(2) 改进的MRF模型通过结合全局模板和局部邻域信息,实现了对瑕疵区域的综合判断;(3) 引入模糊相似关系矩阵和局部能量最优化的概念,将求解模型参数问题成功转化为一个决策优化问题,实现了无监督的检测流程。在应用层面,该方法极高的查全率(98%的样本检出率)使其在工业瑕疵检测场景中具有巨大的潜力,能够最大程度地避免瑕疵产品流入市场。研究同时指出,该方法因图像块级别的检测粒度,会对小面积瑕疵造成较大范围的误检,这也为未来的研究指明了方向,即在保持高查全率的同时,如何更精细地定位瑕疵边界,以提升查准率。
本研究的亮点集中体现在方法创新上。首先,它创造性地将处理纯色织物的MRF模型,通过“周期模板分块”和“势函数重定义”两大改进,成功迁移到复杂周期性图案检测领域,开拓了模型法的应用范围。其次,其“局部能量最优化”的求解策略构思巧妙,避免了传统MRF模型复杂的参数迭代训练过程,使算法更简洁高效。最后,研究选定的实验对象具有挑战性,针对的是既有方法普遍效果不佳的复杂周期纹理,体现了研究的现实意义和前沿性。