本文发表于2021年3月的《北华大学学报(自然科学版)》第22卷第2期,作者为闽南师范大学数学与统计学院的冯晓霞、陈剑威和柳成林。该研究属于计算机视觉与纺织工业自动化交叉领域,旨在解决织物疵点自动检测问题。织物疵点检测是纺织品质量控制的关键环节,传统人工目测效率低且易疲劳,而现有的基于单一图像特征的机器学习检测方法,其准确率和鲁棒性仍有提升空间。因此,本研究提出并设计了一种结合多个BP神经网络与随机森林的新型判别网络,通过综合多种纹理特征来更全面地表征织物图像,从而提高疵点判别的准确率。
该研究的工作流程主要包含特征提取、网络构建与训练、以及集成决策三个核心环节。首先,研究团队对织物图像进行了三类特征的提取,旨在从不同维度刻画织物的纹理信息。 第一类特征是基于频谱图滤波的特征。研究人员首先对100幅织物疵点图像进行傅里叶变换,观察其频谱图后,发现亮点主要集中在水平、竖直、45°和135°四个方向。基于此,他们在频率域中设计了一个包含中心掩模和8个不同尺度、不同方向的Gabor滤波器组,这8个滤波器由内尺度和外尺度各4个滤波器构成,用以捕捉疵点的轮廓及细节信息。通过从这8个滤波器中确定3个最优滤波器,并与中心掩模一同对织物图像的频谱图进行滤波,获得4幅滤波子图像。最终,以这4幅子图像像素的均值(μ_gf_i)和标准差(σ_gf_i)共8个统计量,构成一个8维特征向量。 第二类特征是基于灰度共生矩阵(GLCM)的特征。灰度共生矩阵通过统计图像中特定方向和距离的灰度级对出现的频率来描述纹理。为了避免直接使用矩阵带来的高维和冗余,本文采用了角二阶矩(Angular Second Moment, ASM)、对比度(Contrast)、相关度(Correlation)和熵(Entropy)这4个标量来表征其纹理特征,它们分别反映了图像灰度分布的均匀性、纹理清晰度、局部灰度线性依赖性和灰度分布的复杂程度。研究选取了0°、45°、90°、135°四个方向,在0°和90°方向取步长d=1,45°和135°方向取步长d=√2,计算上述4个特征值。然后,计算每个特征在四个方向上的均值和标准差,最终也构成了一个8维特征向量。 第三类特征是基于局部二值模式(Local Binary Pattern, LBP)的特征。传统的LBP算子通过比较中心像素与其8邻域像素的灰度值来生成一个二进制模式。为控制最终并联网络输入向量的维数,本研究对标准LBP方法进行了简化处理:不以全部的2^8种模式编码,而是直接统计每个像素点LBP编码中“1”的出现数量(范围为0到8),然后统计整幅图像中每种“1”数量出现的总频次,由此构成了一个9维的特征向量。这三类特征向量提取完毕后,均采用最大最小法进行归一化处理,以消除不同量级特征之间的影响,提高网络训练的效率和稳定性。
在完成特征提取后,研究构建了三个独立且结构相同的两层BP神经网络,一个网络对应一类特征向量。因此,三个网络的输入层神经元数量分别为8个、8个和9个。每个网络的输出层均设有2个神经元,以(1,0)和(0,1)的二元输出形式分别表示图像“含疵点”和“不含疵点”。隐含层的神经元数量依据经验公式(l=log₂n)确定为3个。网络的传递函数设置兼顾了非线性逼近能力与计算简化,隐含层采用单极性Sigmoid型函数,输出层则采用线性函数。网络训练采用标准的误差反向传播算法,通过梯度下降法迭代更新网络各层的权值(w)和偏置值(b),直至网络输出与期望输出之间的误差值小于预设阈值。
最后,研究引入了随机森林集成决策机制。每个BP神经网络对测试图像进行独立判别后,会输出一个结果,若判定为“含疵点”,则量化值qi=1,反之则为qi=0。三个网络的输出被并行地送入一个简单的随机森林决策器中。决策规则为:对三个BP网络的输出值qi求和得q,若q值大于1(即至少有两个网络判定为含疵点),则最终判定该图像含有疵点;若q值小于或等于1,则最终判定为不含疵点。这种集成学习策略有效地综合了不同特征空间下的判别结果,避免了单一特征可能导致的不稳定或片面判断。
在验证实验部分,研究团队从标准织物疵点术语在线数据库中选取了175幅大小为150×150像素的织物图像,其中145幅包含断经、破洞、断纬、水印、污渍等多种常见疵点,30幅为无疵点图像。每次试验前,图像被随机划分为包含120幅图像的训练集(100幅含疵点,20幅无疵点)和包含55幅图像的测试集(45幅含疵点,10幅无疵点)。试验的主要结果显示,随着试验次数n的增加,本文提出的网络整体判别准确率变化平稳,且始终稳定在99.9%以上。与此形成对比的是,单独使用基于频率域滤波、灰度共生矩阵和LBP特征构建的三个BP神经网络,其识别准确率均低于本研究的并联集成网络。这一结果直观地证明了融合多特征和随机森林集成策略的有效性。通过对误检样本的进一步分析,研究发现在极少数被误判的无疵点图像中,随机森林的输出值q均为0或1,意味着所有无疵点图像均被正确判别;但在部分含疵点图像被误判的案例中,也出现了q值为0或1的情况。对三幅最易被误检的疵点图像进行500次重复试验分析后发现,误检的主要来源是前两个BP神经网络(即基于频谱图滤波和基于灰度共生矩阵的网络)同时给出了“无疵点”的误判,其可能原因是这些图像中疵点与织物背景纹理的对比度过低,导致提取的特征未能充分表征疵点信息。
该项研究得出的核心结论是,本文所设计的基于3个两层BP神经网络和随机森林的织物图像疵点判别网络,能够有效且稳定地自动识别织物疵点,其判别准确率高达99.9%。该研究的科学价值在于,它验证了通过多源纹理特征(频域滤波特征、统计特征、结构特征)的融合,并结合集成学习策略,可以显著提升机器学习模型对复杂纹理图像的判别能力,为解决同类模式识别问题提供了方法学参考。在应用价值方面,该研究提出的网络结构不仅判别准确度极高,而且相较于使用高维特征向量的类似网络,其各子网络结构更简单、连接更少,从而具有更高的计算效率,这为将其部署到需要实时检测的纺织生产线自动化系统中奠定了良好基础。
本研究的亮点主要体现在三个方面:第一,方法学上的创新,即设计了一个由三个独立的浅层BP神经网络并行提取和判别,再由随机森林进行最终决策的混合级联网络架构,有效结合了特征多样性与决策鲁棒性。第二,对LBP特征的应用进行了针对性的简化,在保持其纹理描述能力的同时,巧妙地控制了特征向量的维度,保障了整体网络的均衡与高效。第三,研究的对比分析深入,不仅将提出的混合网络与各单一特征网络进行性能对比,直观展示了多特征融合的优势,还通过对误检样本的深入统计与归因分析,明确了模型的局限性及潜在的改进方向,显示出研究的严谨性。