分享自:

基于轻量级GAN的织物缺陷分割系统及其在工业物联网中的应用

期刊:Wireless Communications and Mobile ComputingDOI:10.1155/2022/9680519

本文发表于 *Wireless Communications and Mobile Computing*(2022年卷,文章编号9680519),作者包括中南民族大学计算机科学学院的 Bo Li、Yongkai Zou 和 Wei Yao,华中农业大学信息学院的 Rongbo Zhu(通讯作者),宇翔科技(杭州)有限公司的 Jun Wang,以及中南财经政法大学信息与安全工程学院的 Shaohua Wan。该研究于2022年2月23日投稿,2022年4月20日接收,2022年5月23日在线发表。

从学术背景来看,该研究属于工业物联网与机器视觉交叉领域,聚焦于纺织品生产过程中的织物缺陷分割问题。在工业4.0和工业物联网快速发展的背景下,基于深度学习的机器视觉系统在产品质量监控中发挥着重要作用。然而,实际生产中缺陷样本数量少、缺陷类型有限,且人工标注耗时费力。此外,传统分割网络对弱小缺陷目标的分割能力不足,而工业生产又要求模型体积小、实时性高。针对这些问题,作者提出了一种基于轻量级生成对抗网络(GAN)的织物缺陷分割系统,目标是实现弱小缺陷的准确分割,同时满足工业嵌入式系统的部署需求。

在研究方法与流程方面,该系统采用了两步分割策略:首先利用GAN的图像修复机制将缺陷图像修复为正常图像,然后通过比较原始图像与修复图像之间的差异来获得缺陷区域。系统由三个模块组成:缺陷样本合成模块、缺陷修复模块和缺陷分割模块。

在缺陷样本合成模块中,作者利用少量已有缺陷样本及其标签,通过“滑动切割”方法以20像素的滑动步长和128×128像素的切割分辨率从原始图像中裁剪出大量正常样本。随后,将分离出的缺陷块随机粘贴到正常背景中,同时记录标签信息,从而快速生成大量接近真实分布的缺陷样本,避免了繁琐的人工标注工作。实验中共获得19606对人工缺陷样本,其中10240对用于训练,320对用于验证。

在缺陷修复模块中,作者设计了一个精简的SegNet生成器网络。与原始SegNet相比,该网络仅进行三次下采样和三次上采样,使用最大池化索引进行上采样,避免了反卷积过程,从而减少了参数数量和计算量。生成器采用LeakyReLU激活函数,并使用了实例归一化(IN)替代批归一化(BN),以加速收敛并保持图像实例间的独立性。判别器则采用六层卷积编码器结构,最后通过Sigmoid函数输出真假概率。在对抗训练中,生成器损失由均方误差(MSE)损失和二值交叉熵(BCE)损失组成,判别器损失由两部分BCE损失组成,目标函数通过min-max博弈进行优化。训练采用Adam优化器,初始学习率为0.001,并采用多步长学习率衰减策略,在30和60个epoch时分别降至0.0001和0.00001。

在缺陷分割模块中,首先计算原始图像与修复图像之间的绝对差值,然后通过阈值去噪(阈值为19)、线性变换增强(α=5,β=0)以及Otsu二值化处理,最终获得缺陷区域的分割掩码。

在实验结果方面,研究使用了三个数据集进行评估:企业数据集、AITEX公共数据集和扩展数据集。在企业数据集上,模型在验证集上的MSE误差仅为0.00021,像素准确率(Pixel Acc)达到99.68%,交并比(IoU)达到77.84%。在AITEX数据集上,验证集MSE误差为0.00056,Pixel Acc为99.94%,IoU为77.85%。在包含人为构造的未知缺陷类型的扩展数据集上,Pixel Acc达到99.3%,IoU为73.6%。对比实验显示,该模型的IoU比FCN、U-Net、SegNet以及它们的GAN版本(FCNGAN、U-NetGAN、SegNetGAN)高出至少7.5个百分点,其中表现最好的SegNetGAN的IoU为0.7034,而本文模型达到了0.7784。在模型大小方面,本文模型的模型文件仅为14.4 MB,而其他模型为89.2 MB至131.7 MB不等。在实时性方面,该模型在128×128分辨率下处理速度为107 FPS,在256×256分辨率下为37 FPS,均能满足实时工业生产需求。在图像修复质量方面,正常样本的平均绝对误差(MAE)小于2,缺陷样本的MAE小于3,结构相似性指数(SSIM)在0.941至0.989之间,表明修复质量良好。

该研究的结论指出,所提出的轻量级系统能够有效解决织物缺陷分割问题,特别是对弱小缺陷目标的检测。通过对抗训练、目标函数优化和图像处理方法的结合,模型在分割精度、模型体积和实时性之间取得了良好平衡,具有在工业物联网和工业生产线上部署的应用价值。其科学价值在于提供了一种基于GAN修复机制和差分图像分析的缺陷分割新思路,避免了传统语义分割网络对大量标注数据的依赖;应用价值在于模型体积小、计算速度快,适合嵌入式系统部署,能够满足实际工业生产环境的实时检测需求。

该研究的亮点主要体现在三个方面:其一,设计了无需人工标注的缺陷样本合成方法,通过滑动切割和随机粘贴缺陷块快速生成大量训练样本,解决了工业场景中缺陷样本稀缺的问题;其二,提出了针对弱小缺陷目标的专用分割流程,通过GAN图像修复、差分图像计算以及去噪和增强处理,显著提高了对低对比度小缺陷的分割能力;其三,模型轻量化设计使其在保持较高分割精度的同时,大幅减少了存储空间和计算资源占用,具备良好的实时性和嵌入式部署可行性。此外,研究还通过扩展数据集验证了模型对训练中未出现过的缺陷类型的鲁棒性,进一步证明了其在实际生产中的泛化潜力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com