陈昶凯（Chenkai Zhang）、冯少哲（Shaozhe Feng）来自浙江大学计算机科学与技术学院及求是高等研究院，王徐龙琦（Xulongqi Wang）来自杭州利珀科技有限公司，王跃明（Yueming Wang）为通讯作者，来自浙江大学求是高等研究院、之江实验室及CAD&CG国家重点实验室。该研究以题为“ZJU-Leaper：一个用于织物缺陷检测的基准数据集及比较研究”的论文发表于《IEEE Transactions on Artificial Intelligence》2021年12月第1卷第3期。

织物缺陷检测在纺织制造质量控制中具有重要意义。传统人工肉眼检测方式劳动密集、效率低下，且长期从事该工作会对视力造成严重损害，因此纺织工业对利用机器视觉技术替代人工检测的需求日益增长。深度学习在计算机视觉领域的快速发展为自动化视觉检测提供了新的可能，但现有织物数据集存在明显不足。TILDA数据集发布于1996年，图像质量较低，且仅以德语粗略描述缺陷位置和形状；DAGM数据集图像由计算机程序人工生成，与真实工业样本差异较大，且缺陷区域仅以椭圆标注；HKU-Fabric数据集首次采用像素级掩膜标注缺陷区域，但样本量过少，三种图案类型分别仅包含56、56和50张图像。这些数据集未能充分反映真实世界中织物纹理的多样性、复杂性以及实际产线对快速部署、易于升级、多阶段训练模型的需求。本研究旨在构建一个更大规模、更贴近真实应用场景的织物缺陷检测基准数据集，并建立统一的评估协议，以推动织物自动视觉检测技术的发展。

数据集构建工作包含图像采集、数据标注、数据组织与评估协议设计等环节。在图像采集阶段，研究团队从工厂和实验室两个渠道收集候选图像，每个织物类型最终筛选出约5000张图像，并按照缺陷样本数量的三倍随机选取正常织物图像以降低数据冗余。最终数据集共包含98777张高质量图像，涵盖19种织物图案。这些织物图案被划分为五组：第一组为平纹和条纹等简单图案；第二组为格子、圆点等小重复单元图案；第三组为格纹织物；第四组为花卉图案等复杂织物；第五组为来自工厂的坯布图像，其图像质量、光照一致性和标注精度相对较差，仅用于对比研究。在数据标注阶段，由6名视力正常的人员独立标注缺陷区域，并通过平均化处理三位标注者的输出结果生成最终像素级掩膜。每张图像同时提供图像级标签、边界框和像素级掩膜三种形式的标注信息，并附带织物图案名称、图案编号、组名和组号。

针对实际产线中缺陷样本难以大量获取、标注成本高昂的问题，本研究提出了五级任务设置，以渐进式策略处理织物缺陷检测问题。设置1仅使用正常样本，无需任何标注；设置2包含少量带像素级掩膜标注的缺陷样本以及大量正常图像；设置3包含大量缺陷图像但仅提供图像级标签；设置4包含大量带边界框标注的缺陷图像；设置5包含大量带像素级掩膜标注的缺陷图像。五个设置所需的成本和标注工作量依次递增，训练难度依次递减。测试集从每个图案组中随机选取三分之一的数据，包含正常样本和缺陷样本，用于统一评估和公平比较不同检测方法。

在评估协议方面，研究团队针对现有评价指标存在的不一致性和类别不平衡问题，提出了包含像素级、区域级和样本级三个层次的评价体系。像素级指标采用Dice系数（Dice coefficient），该指标在类别不平衡场景下与感知质量的对齐效果优于交并比（Intersection over Union，IoU）。区域级指标通过提取掩膜预测和掩膜标注中的孤立像素簇生成候选区域和真值区域，建立一对多对应关系，以交并比大于0.3或面积比（Area Ratio，ARR）大于0.5作为判定标准，计算区域级精确率、召回率和F1分数，并可按照缺陷区域面积将缺陷划分为小、中、大三类分别计算区域级F1分数。样本级指标通过匹配样本预测与标签的对数计算样本级F1分数。研究者还采用元度量（meta-measure）实验验证了上述指标的有效性，三种实验分别检验了错误真值比例增加时指标分数的下降趋势、使用打乱掩膜作为真值时指标错误评分的比率以及指标对优秀模型与随机输出模型的区分能力，结果显示所有指标的误差率均低于1%。

基线实验在五个任务设置下分别测试了不同的检测方法。在设置1中，稀疏编码（Sparse Coding，SC）、卷积自编码器（Convolutional Auto-Encoder，CAE）和单类支持向量机（One-Class SVM，OCSVM）三种无监督方法均在第一组简单图案织物上表现最佳，但在第二至第四组的复杂图案上性能明显下降。第五组虽以简单纹理为主，但由于工厂采集数据中包含褶皱、图像畸变、光照不一致和尺度变化等噪声，检测效果也不理想。在设置2中，迁移学习（Transfer Learning，TL）和数据增强（Data Augmentation，DA）方法均优于直接训练的U-Net模型。迁移学习通过先在正常样本上进行图像重建预训练，再将编码器迁移至监督分割任务；数据增强方法则从少量真实缺陷图像中提取缺陷区域，通过随机仿射变换和亮度颜色扰动合成新的缺陷数据并注入正常图像。两种方法均有效缓解了缺陷样本稀缺的问题。在设置3中，基于标签标注的弱监督分割方法采用对数求和指数（Log-Sum-Exp，LSE）和图像级先验（Image-Level Prior，ILP）策略，但性能相对较低，表明仅凭图像级标签难以获取缺陷的位置信息。设置4中基于边界框标注的方法生成近似像素级掩膜后进行监督训练，检测性能显著提升，说明粗糙的空间信息对监督模型十分有效。设置5中U-Net模型在像素级掩膜监督下取得最佳检测性能，其中按单种织物训练的模型和按图案组训练的模型均优于在全部数据上训练的通用模型，这验证了织物检测任务应针对单一或相似图案织物设计专用模型，而非训练通用模型的核心观点。精确率-召回率曲线分析显示曲线下面积（Area Under Curve，AUC）与平衡点（Break-Even Point，BEP）均与所提指标一致，进一步验证了评估协议的合理性。针对不同尺寸缺陷的区域级分析表明，基于卷积神经网络的监督方法倾向于检出大缺陷而忽略小缺陷，这是由于小缺陷本身更难感知，且像素级交叉熵损失函数使大缺陷在优化中占据主导地位。

本研究的主要贡献体现在三个方面。第一，构建了ZJU-Leaper数据集，在样本数量、图像质量、标注丰富度以及纹理复杂性和变异性方面均优于现有数据集，并通过五级任务设置切合实际产线需求。第二，提出了包含像素级、区域级和样本级的三层次评估协议，经元度量实验验证了指标的可靠性。第三，通过五个任务设置下的基线实验展示了不同方法的效果和潜在改进方向，为后续研究提供了参考基准。基线结果同时揭示了现有检测方法在少标注、复杂纹理和工厂噪声场景下仍有较大提升空间，迁移学习、数据增强以及从粗粒度到细粒度的渐进式学习策略是值得进一步探索的方向。该研究为织物缺陷自动检测领域提供了统一的数据基础与评估标准，有望加速纺织工业自动化质检技术的研发与落地应用。