作者与发表信息
本研究由Mariam Nasim、Rafia Mumtaz、Muneer Ahmad和Arshad Ali合作完成。Mariam Nasim和Rafia Mumtaz来自巴基斯坦国立科技大学(NUST)的电气工程与计算机科学学院(SEECS),Rafia Mumtaz同时隶属于英国考文垂大学的计算科学与数学建模中心,Muneer Ahmad来自英国罗汉普顿大学计算机科学系,Arshad Ali则来自美国Software Productivity Strategists, Inc. (SPS)。该研究成果于2024年8月11日发表在开放获取期刊《Information》上。
研究背景与目的
瑕疵检测(Defect Detection)对于保证织物(Fabric)的质量和定价至关重要。在纺织制造业中,由于各类瑕疵,大量织物被当作废品丢弃,造成了巨大的年度经济损失。传统上,人工检查是主要的检测手段,但这种方法耗时费力,且易因工人疲劳导致错误。因此,采纳一种基于深度学习(Deep Learning)模型的自动化瑕疵检测方案,为评估织物质量提供了一种及时且高效的解决方案。
然而,当前研究存在两个显著空白:首先,现有研究大多针对素色织物(Plain Fabrics)或印花织物(Printed Fabrics)分别进行,缺乏一个能够同时处理这两种织物类型的统一且稳健的模型。其次,大多数研究依赖于在受控条件下采集的、定位精准的高质量图像数据集。但在实际制造场景中,数据集往往缺乏此类高质量图像,并存在背光强度变化、噪声、模糊等问题,且素色和印花织物通常同时生产。因此,本研究旨在训练一个鲁棒的深度学习模型,能够以高精度和低计算成本检测实际生产过程中产生的织物数据集中的瑕疵,并假设单一的目标检测(Object Detection)模型,如YOLOv8,能够同时检测真实世界场景中素色、规则印花和不规则印花织物上的各类瑕疵。为此,研究采用了直接来自Chenab Textiles的内部数据集,以真实反映实际制造条件。
研究工作流程
本研究的工作流程主要包含以下四个环节:数据集构建与预处理、模型选择与训练、模型评估与比较以及结果分析与优化。
第一环节:数据收集与预处理 研究团队直接从巴基斯坦的Chenab Textiles工厂收集了为期五个月的日常瑕疵样本图像。这些图像由工厂工人在生产线上直接拍摄,未经过任何手动定位或增强处理,完整保留了生产环境中的自然缺陷和背景元素,例如未展平的织物、各种拍摄角度、噪声和模糊等。研究者根据瑕疵发生频率,筛选出七种主要的瑕疵类别:Baekra(印花中断)、颜色问题(Color Issues,含色斑和褪色)、污染(Contamination)、破洞(Cut)、灰色接缝(Gray Stitch)、折痕(Selvet)和污渍(Stain)。数据集同时包含了素色、规则印花和不规则印花的织物样本。 原始数据按日期和瑕疵类别分类存储,经预处理后,被整理为按类别命名的独立文件夹。使用Roboflow平台,为所有瑕疵样本手动标注了方形边界框(Bounding Boxes)。针对数据集存在的类别不平衡(Class Imbalance)问题,例如污渍样本过多而颜色问题样本较少,研究团队对样本数量较少的类别进行了更多的数据增强(Augmentation),主要应用了图像旋转和翻转技术。数据集被划分为训练集(Train)、验证集(Valid)和测试集(Test)。初步训练后,针对某些类别平均精度(mAP)不理想的情况,研究团队从Roboflow上的三个公开数据集(thesis dataset, fabricdefectdet2, defect_1)中,选取了与本研究样本属性相似的图像(未展平、方向各异),整合到数据集中进行再训练。最终数据集包含约2800个样本。
第二环节:模型选择与训练 针对在高速织物生产环境中需要快速推理、部署在资源有限设备上的应用需求,本研究选择了三种轻量级目标检测架构进行训练和比较: 1. MobileNetV2 SSD FPN-Lite:该模型专为移动和嵌入式设备优化,以MobileNetV2为骨干网络(Backbone)进行特征提取,利用深度可分离卷积(Depthwise Separable Convolutions)和倒残差块(Inverted Residual Blocks)平衡模型大小、速度和精度。它集成了特征金字塔网络(FPN)以进行多尺度特征表示,并通过SSD检测头(SSD Head)进行目标定位和分类。其“Lite”版本通过通道剪枝、量化等技术进一步降低了计算复杂度。 2. YOLOv5:以其在速度与精度间的出色平衡而闻名。YOLOv5采用改进的CSPDarknet53骨干网络和路径聚合网络(PANet,一种扩展的FPN),以实现高效的多尺度特征提取。其检测头负责生成边界框预测、置信度分数和类别概率。 3. YOLOv8:作为YOLO系列的最新演进版本,YOLOv8引入了C2f模块(跨阶段部分瓶颈与两个卷积)以融合高级特征与上下文信息,增强检测精度。它采用无锚框(Anchor-free)模型和解耦头(Decoupled Head),将目标性、分类和回归任务独立处理,从而提升整体模型精度。其输出层使用Sigmoid函数处理目标性得分,Softmax函数处理类别概率。损失函数方面,YOLOv8结合了DFL和CIoU用于边界框损失,使用二元交叉熵用于分类损失。
所有模型均使用PyTorch和Ultralytics框架进行训练。训练集配置为图像尺寸640像素,训练周期(Epoch)500轮,批次大小(Batch Size)16。YOLOv8n(Nano版本)因其在精度与参数数量间的良好平衡,被选为最终模型。其最佳超参数设置为:初始和最终学习率0.01,动量0.937,权重衰减0.0005。YOLOv5n也在相同默认参数下进行了训练以作对比。MobileNetV2 SSD FPN-Lite模型使用TensorFlow框架,以TFRecord格式的数据集进行训练,优化器为动量优化器,基础学习率0.08,训练步数20,000步。
主要研究结果
在测试集上的评估结果显示,YOLOv8n取得了最佳性能。
在检测速度方面,对于280张测试样本,YOLOv8的每张图像预处理耗时1.4毫秒,推理耗时8.4毫秒,后处理耗时1.7毫秒,总计约11.5毫秒。YOLOv5的总计耗时约为15.9毫秒,其中推理仅需7.8毫秒,但后处理时间较长(7.9毫秒)。
研究还尝试了YOLOv10,但mAP@0.5为82.6%,低于YOLOv8,可能因所选超参数非最优。此外,基于类别的模型集成方法(Ensemble Learning)虽在某些类别上提升了精度,但整体mAP却下降至82%,揭示了集成方法的复杂性。
研究结论与价值
本研究成功验证了研究假设,即最新的最先进目标检测模型YOLOv8能够同时在素色和各类印花织物上高效检测多种瑕疵。研究使用来自真实生产环境的、未处理的内部数据集训练YOLOv8,在包含七种常见瑕疵类别的测试中取得了84.8%的mAP,性能优于YOLOv5(84.5%)和MobileNetV2 SSD FPN-Lite(77.09%)。这证明YOLOv8是一个计算速度快、资源需求低、适合部署在低资源硬件设备上进行实时瑕疵检测的有效解决方案。
本研究的科学价值在于,它弥合了受控实验数据集与工业环境中多变性之间的差距。其采用的数据集具有“随产随采”的变异性、多样的方向、真实噪声缺陷以及混有素色和多种印花织物的特点,为开发能在真实场景中应用的鲁棒性检测系统提供了更贴近实际的训练和评估基准。其应用价值在于,提出的解决方案可以直接集成到高速织物生产线的现有制造工作流程中,通过在滚动布料上方安装高清摄像头和LED光源,并配置相应的软件环境(如PyTorch, Ultralytics)和数据库(如MySQL),即可实现对织物质量的在线、实时、自动监控,从而有望大幅减少因瑕疵导致的经济损失。
研究亮点
本研究的主要亮点在于: * 真实且独特的数据集:研究使用了直接源于生产线的内部数据集,保留了织物的未展平状态、噪声、模糊和背景干扰,真实模拟了工业检测的挑战,这与文献中常见的、在受控条件下采集的标准化数据集形成鲜明对比。 * 统一的检测模型:研究针对学术界对素色和印花织物通常分别研究的现状,提出并验证了使用单一YOLOv8模型同时处理两类织物的可行性,填补了该领域的空白。 * 面向实际部署的模型选择:研究聚焦于计算效率高、可部署在资源受限设备上的轻量级模型(如YOLOv8n),并详细报告了推理各阶段的耗时,为技术方案向实际生产环境的转化提供了有力支持。