本文属于类型a，即单项原创研究报告。以下是对该研究的详细学术报告。
该研究题为“基于无监督多尺度U型去噪卷积自编码器模型的色织面料缺陷检测”，由Hongwei Zhang、Shuting Liu、Quanlu Tan、Shuai Lu、Le Yao和Zhiqiang Ge共同完成。主要作者Hongwei Zhang来自浙江大学工业控制技术国家重点实验室及西安工程大学电子信息学院，Zhiqiang Ge来自浙江大学控制科学与工程学院。该论文发表于Coloration Technology期刊2022年第138卷，页码522至537，DOI为10.1111/cote.12609。
该研究属于机器视觉与纺织工业质量检测交叉领域。色织面料由染色纱线按特定排列组合织造而成，其纹理主要包括点纹、星纹、条纹和格纹等。在生产过程中，染色纱线质量波动及多种潜在因素会导致面料表面产生缺陷，从而降低产品质量和企业利润。传统的人工检测依赖工人经验，存在效率低、主观性强等局限。基于机器视觉的经典检测方法包括统计法、频谱法、基于模型的方法、基于结构的方法和混合方法，但这些方法大多依赖人工特征工程，对复杂色织面料纹理的泛化能力较差，且重新设计特征耗时巨大。监督式深度学习方法虽然能够自动提取高层特征，但需要大量标注的缺陷样本，而在实际工业过程中，缺陷样本稀缺且标注困难。因此，本研究旨在提出一种仅需无缺陷样本进行训练的无监督学习方法，实现色织面料缺陷的自动检测与定位。
研究的工作流程包括模型构建、训练阶段和测试阶段三个主要部分。首先，针对特定纹理，收集易于获取的无缺陷色织面料图像构建训练集。其次，建立多尺度U型去噪卷积自编码器（multi-scale u-shaped denoising convolutional autoencoder, msudcae）模型，仅使用无缺陷样本进行训练，使模型能够自动重建新输入的色织面料图像。随后，计算原始图像与重建图像之间的残差图。最后，通过开运算（opening operation）对残差图进行后处理，检测并精确定位缺陷区域。
在模型结构方面，研究首先将传统U型网络（u-net）改进为U型去噪卷积自编码器（udcae）。传统u-net是基于监督学习的分割网络，需要大量标注样本和分割图，无法直接应用于色织面料缺陷检测。udcae将输入改为无缺陷图像，输出为重建图像，从而适应无监督学习框架。然而，单尺度udcae在特征提取过程中不可避免地存在信息损失，对复杂纹理的重建效果较差。因此，研究进一步提出多尺度机制，将输入图像调整为四个不同尺度（256×256、128×128、64×64和32×32），分别输入到U型自编码器的不同分支中。大尺度图像能够提取更多细节特征，小尺度图像能够提取更多全局特征，模型通过整合不同尺度的信息获得更丰富的特征表示，从而提高重建能力。该结构采用填充卷积（padded convolution），使输出尺寸与输入保持一致，因此可以使用复制操作代替传统u-net中的裁剪操作。模型主要由卷积层、最大池化层和上卷积层组成，并通过跳跃连接（skip connection）有效提取高层特征。
在训练阶段，研究向无缺陷色织面料图像中加入高斯噪声（gaussian noise），形成含噪图像。含噪图像通过公式中定义的卷积编码操作提取特征，激活函数采用修正线性单元（rectified linear unit, relu），随后通过上卷积解码操作得到去噪重建图像。训练过程采用Adam优化器，学习率设为0.0001，每个纹理的训练迭代次数为2000个epoch，批大小设为1。研究比较了11种损失函数，包括平均绝对百分比误差（mean absolute percentage error, mape）、均方对数误差（mean squared logarithmic error, msle）、铰链损失（hinge loss）、平方铰链损失（squared hinge loss）、logcosh损失、二元交叉熵损失（binary cross-entropy loss）、Kullback–Leibler散度、Poisson损失、余弦邻近损失、平均绝对误差（mean absolute error, mae）和均方误差（mean squared error, mse）。通过峰值信噪比（peak signal-to-noise ratio, psnr）和结构相似性指数（structural similarity index, ssim）以及训练和测试时间消耗的综合比较，最终选择mae作为训练损失函数。
在测试阶段，将待检测图像输入训练好的msudcae模型，得到重建图像。由于模型仅使用无缺陷样本训练，当输入图像含有缺陷时，模型会将其重建为无缺陷图像，即模型具有修复缺陷区域的能力。首先，对原始图像和重建图像分别进行灰度化处理，灰度化公式采用加权系数0.2125、0.7154和0.0721分别对应RGB三通道。然后，使用大小为3×3的高斯核进行高斯滤波以去除织物图像的常见噪声。接着，计算灰度化和滤波后的原始图像与重建图像之间的残差图，即两者差值的绝对值。残差图中，缺陷像素比无缺陷像素具有更大的判别性。随后，使用自适应阈值对残差图进行二值化分割，阈值定义为残差图均值与标准差之和。残差图中像素值小于阈值的设为零，大于等于阈值的设为一。最后，对二值图像进行开运算（包括腐蚀和膨胀操作），并使用来自scikit-image开源图像处理包的函数去除小目标并通过凸包操作连接剩余目标，得到最终检测结果。
研究使用了两个数据集进行验证。第一个是ydfid-1织物数据集，来源于广东溢达纺织公司服装厂，通过扫描仪采集，共包含3501张图像，其中3189张正常样本和312张缺陷样本。根据色织衬衫的颜色和纹理特征，样本分为简单格子、条纹图案和复杂格子三类，并构建了10个不同的色织面料数据集（data i至data x），图像分辨率均为256×256像素。每个数据集包含用于训练的无缺陷样本和用于检测的缺陷样本，缺陷尺寸大于1毫米。第二个数据集是mvtec ad异常检测数据集，包含5000张高分辨率图像，分为五类纹理和十类物体类别，每个数据集包含正常样本、不同类型的缺陷样本以及对应的像素级真实标注。
实验平台采用深度学习工作站GPU服务器，处理器为Intel Core i7-6850K，显卡为NVIDIA GeForce GTX 1080 Ti，内存32GB，操作系统为Ubuntu 16.04.6 LTS。模型基于Keras 2.1.3和TensorFlow 1.12.0构建，编程环境为Python 3.6.4。
在训练阶段的不同损失函数定量分析中，logcosh损失函数在psnr和ssim指标上表现最佳（psnr为18.9253，ssim为0.8139），mae和mse次之。然而，mae损失函数的训练时间为4.9763小时，测试时间为0.0568秒，综合计算复杂度和检测速度优势，最终选择mae作为损失函数。
在ydfid-1数据集上的定性分析中，研究比较了四种模型：去噪卷积自编码器（denoising convolutional autoencoder, dcae）、多尺度去噪卷积自编码器（multi-scale denoising convolutional autoencoder, msdcae）、U型去噪卷积自编码器（udcae）和所提出的msudcae模型。结果显示，传统dcae仅能准确检测data v和data vii数据集；msdcae能检测data v、data vi、data vii和data x；udcae能检测data iii、data v、data vii、data viii和data x；而msudcae模型能准确检测全部10个数据集。
在重建性能的定量分析中，msudcae模型在7个数据集上获得了最高的psnr和ssim值，在其余数据集上也保持了较高水平。在缺陷检测结果的像素级评估中，msudcae模型的精确率（precision）为77.88%，召回率（recall）为92.21%，准确率（accuracy）为98.42%，交并比（intersection over union, iou）为50.46%。与aessim模型相比，精确率、召回率、准确率和iou分别提高了23.07%、64.99%、14.06%和3.95%。与dcae模型相比，四项指标分别提高了2.91%、4.82%、0.78%和5.83%。与udcae模型相比，精确率、准确率和iou分别提高了3.45%、0.52%和5.2%。
在mvtec ad数据集上的定量分析中，采用像素级受试者工作特征曲线下面积（area under the receiver operating characteristic curve, auroc）作为评估指标。msudcae模型在grid、leather和wood三类纹理上分别获得0.749、0.756和0.645的auroc值，平均值为0.717。实验表明，多尺度机制使dcae模型的检测性能提高了0.2%，使udcae模型提高了12.2%。在grid纹理上，模型表现相对稳定，这与色织面料的格子图案特征相符。在leather和wood纹理上，模型也展示了良好的检测潜力，表明其具有一定的泛化能力。
研究的结论指出，传统特征工程与机器学习算法及监督式算法对新纹理尤其是多样化色织面料的泛化性能较差。为此，研究提出了无监督的msudcae模型。该模型首先利用易于采集的无缺陷色织面料样本构建训练集，然后训练模型以重建新输入的图像，再计算残差图，最后通过开运算检测和定位多种类型的缺陷。在ydfid-1数据集上，与现有模型相比，所提出模型的iou指标至少提高了3.95%，验证了其优越性能。研究同时指出，对于微小缺陷类型，模型的检测率仍需进一步提高，因此有必要进一步增强模型的特征提取能力。
本研究的主要亮点在于：第一，提出了一种将多尺度机制与U型去噪卷积自编码器相结合的无监督缺陷检测方法，仅需无缺陷样本即可训练，有效解决了缺陷样本稀缺和标注困难的问题。第二，通过多尺度输入策略，模型能够同时提取细节特征和全局特征，显著提高了对复杂色织面料纹理的重建和检测能力。第三，研究系统地比较了11种损失函数，并综合重建精度和时间消耗选择了最优的mae损失函数。第四，提出的模型在多个数据集上均表现出优于现有无监督方法的检测性能，展示了良好的泛化潜力和工业应用价值。
此外，研究还得到了国家自然科学基金、陕西省重点研发计划、浙江省自然科学基金等多项基金的资助。论文中的ydfid-1数据集可在GitHub上公开获取，为后续研究提供了数据基础。