Fabric4show：面向织物瑕疵检测与后处理的实时视觉系统——学术报告
一、研究概要
本研究由桂林电子科技大学的林怀周、蔡丹、许增敏、孙丽贤、贾海滨等学者，联合智利大学等机构的研究人员共同完成。论文发表于《Visual Intelligence》期刊2024年第2卷，题为“Fabric4show: real-time vision system for fabric defect detection and post-processing”。该研究聚焦于计算机视觉在工业织物瑕疵检测中的实际应用，提出了一套集检测、评分、后处理于一体的低成本实时智能视觉系统。
二、研究背景与目标
随着社会经济发展，市场对高品质纺织品的需求不断增长，织物瑕疵检测（Fabric Defect Detection）成为生产流程中的关键环节。在工业生产中，存在严重瑕疵的织物只能以正常价格的45%至65%出售，若未能在工厂阶段检测出问题，整批产品将报废，给企业带来巨大损失。然而，当前学术研究主要追求检测模型的高精度与算法效率，忽视了实际工业生产的具体需求，例如全面的评分体系、合理的后处理策略、以及成熟的低成本部署方案。此外，工业界还面临着瑕疵样本少导致模型训练困难、缺乏有效后处理手段、以及智能化改造成本与可行性不明确等挑战。
针对上述问题，本研究旨在构建一个织物瑕疵检测与后处理系统。其目标不仅在于提升检测精度，更在于设计一套满足企业实际需求的综合解决方案，包括优化的检测模型、全面的瑕疵评分机制、异常检测、裁剪区域推荐以及疵品织物替换装置，最终在低成本硬件上实现实时运行。
三、研究方法与系统工作流
本研究的工作流围绕一个集成化系统的构建展开，涵盖了从数据集构建、模型训练优化到硬件系统设计、后处理算法开发的全过程。
检测模型构建与优化：
- 数据集重组：研究者整合了多个开源数据集，包括来自天池的“Smart Diagnosis of Cloth Flaw”主数据集，以及来自Kaggle的微调数据集A和自行采集的微调数据集B。通过聚类分析，将原始30类瑕疵合并为14类，以简化检测流程。
- 模型改进：基于经典的两阶段检测网络Faster R-CNN（Faster Region-based Convolutional Neural Network，更快的基于区域的卷积神经网络），研究者进行了多项改进。以ResNet50替代VGG-16作为骨干网络，并提出了双流训练策略（Double-Stream Training, DST），即分别在主数据集与微调数据集上训练主流与子流网络，最终混合两者评分，以平衡大小瑕疵的检测效果。同时，用CIoU Loss（完全交并比损失函数）替代L1损失函数，以提升对不同长宽比瑕疵的检测效率。
- 降低资源消耗：为满足工业部署的低成本要求，模型应用了16位浮点数（FP16）技术以减少GPU（Graphics Processing Unit，图形处理器）内存占用，并采用非极大抑制（Non-Maximum Suppression, NMS）和在线难例挖掘（Online Hard Example Mining, OHEM）技术来提升模型处理困难样本的能力。
织物瑕疵评分机制设计： 这是连接检测模型与后处理系统的核心环节。企业不仅需要知道瑕疵数量和种类，更需要对缺陷布进行综合评估以决定后续处理方式。研究者设计了一种综合评分标准，该标准对每个被检测到的瑕疵，根据其类型、面积、以及横向与纵向趋势进行加权打分。总分( p_{tot} )由所有检测到的瑕疵得分( p_i )求和得出，各项权重系数可根据不同客户需求通过层次分析法或神经网络进行调整。 该评分机制并非仅限于单帧图像。为适应实际生产中织物面积超过工业相机视野的情况，研究者开发了一种实时评分算法。该算法通过为每个检测到的瑕疵分配唯一编号，并构建包含其信息的字典。通过对比相邻视频帧的瑕疵字典，实时判断瑕疵的重复检测或丢失，从而更准确地计算出整段织物的总分。
后处理算法开发：
- 异常检测：为防止针织机异常导致大面积连续瑕疵而造成重大损失，系统会计算每帧织物的瑕疵评分密度( \rho_k )。当该密度或单个瑕疵的尺寸超过预设阈值时，系统将向生产线控制端发送停机指令，并触发声光报警。
- 裁剪区域推荐：为最大化瑕疵织物的剩余价值，研究者设计了一种算法，能根据瑕疵分布自动推荐裁剪区域的划分方案。为解决不规则裁剪的非确定多项式困难问题（NP-hard），该算法将问题简化为求解最大矩形面积任务。系统将织物区域划分为有瑕疵的黄色边框区域和无瑕疵的蓝色边框区域，并基于评分机制对有瑕疵区域进行质量评级（A、B、C三级），同时用橙色和红色边框分别标示推荐与不推荐的裁剪区域。
- 模板识别与补货：为确保生产的连续性，需快速用同花色的无瑕疵布料替换被检测出的有瑕疵布料。由于在已有检测模型上增加新模型会拖慢系统，研究者采用基于RGB通道直方图相似度比较的方法来快速识别布料花色，并设计了包含补货站、转向装置和传送带的硬件模块。当检测得分超标时，IPC（Industrial Personal Computer，工业个人计算机）截取视频画面并与预存图案进行比较，返回最相似花色的ID，随后硬件系统便会从相应花色补货站释放一块无瑕疵布料作为补充。
硬件系统集成： 整个系统由八个主要模块构成：IPC模块（运行模型和程序）、主处理模块（Arduino Uno协调各组件）、扩展与显示模块（实现人机交互）、驱动执行模块（控制传送带和步进电机）、电源模块、报警模块、布料补货模块（伺服电机控制）和视觉模块（工业相机与三维滑台）。系统硬件成本低廉，工业相机直接输出分辨率为640×480。
四、主要研究结果
模型性能评估：
- 消融实验：在重组数据集上的消融实验表明，逐步引入CIoU Loss、NMS、FP16、OHEM和DST策略后，模型的平均精度均值（Mean of Average Precision, mAP）持续提升。最终，采用“R50-FPN+FP16+NMS+CIoU Loss+OHEM+DST”组合的模型，其mAP@0.5:0.95达到0.458，比基线模型（R50-FPN+L1 Loss）的0.404高出5.4%。其中，在小型目标检测（mAP_s@0.5:0.95）上的提升尤为显著，从0.101提升至0.192，增幅达9.1%。更重要的是，GPU内存占用从基线的4.66 GB降至2.98 GB，大幅降低了硬件成本。
- 模型对比：与YOLO系列、RetinaNet等单阶段网络相比，本研究提出的基于Faster R-CNN的两阶段模型在检测精度（mAP）上具有优势，但在检测速度上较慢。在部署了全部后处理算法的系统上，实时检测帧率为4.9帧/秒。研究者强调，在实际工业应用中，结合后处理算法的综合处理方案比单纯的单次检测精度更为重要。
功能演示成果：
- 异常检测：系统成功对超过阈值的瑕疵布料进行识别，并立即发出指令，停止传送带运行并亮起报警灯，验证了视觉引导自动停机的可行性。
- 瑕疵检测与后处理：系统能够对不同花色的织物进行检测、评分（如评分为150或125），并触发相应的后处理流程。补货模块准确无误地释放了同花色的无瑕疵布料，同时瑕疵织物被传送至回收区。对于无瑕疵布料，系统不触发任何处理动作，使其正常通过。
- 多形态信息反馈：系统不仅给出实时评分，还能输出带有检测框的视频流、截图、动图和日志文件，方便操作员进行复核。
五、研究结论与价值
本研究成功构建并验证了一套名为Fabric4show的织物瑕疵检测与后处理实时视觉系统。该研究的主要价值在于：首先，它弥合了学术研究与工业生产之间的鸿沟，没有仅仅追求模型理论精度的提升，而是以满足企业实际需求（如缺陷评估、物料处理）为出发点，提出了一个完整的、可部署的解决方案。其次，通过一系列优化手段，在低成本的消费级GPU上实现了较高精度的检测，证明了在工业场合部署两阶段检测网络的经济可行性。最后，将计算机视觉技术与自动化硬件后处理（如补货、报警、裁剪建议）深度集成，为纺织业的智能制造转型提供了一个详实且可复现的范例。
六、研究亮点
- 工业导向的系统设计：区别于多数关注算法的研究，本工作将检测模型、评分机制、异常处理和物料操作硬件有机结合，提供了一个端到端的解决方案。
- 综合的织物评分与后处理逻辑：首创性地将瑕疵类型、面积、方向性综合纳入评分，并以此为基础开发了实时帧间关联评分、异常检测和裁剪区域推荐算法，这直接回应了企业对最大化残余价值的核心关切。
- 低成本与高效率的平衡：通过FP16和模型优化，在RTX 3060 Laptop GPU上实现模型训练时内存占用仅2.98 GB，部署后系统运行帧率近5帧/秒，展示了先进模型在嵌入式或低成本工业场景中的应用潜力。
- 开源与可复现性：作者将项目代码在GitHub上开源，极大地促进了该领域研究的透明度和可复现性，为后续研究者提供了坚实的基础。