主要作者与发表信息
本研究由Junfeng Jing、Zhen Wang、Matthias Rätsch和Huanhuan Zhang共同完成，第一作者Junfeng Jing来自西安工程大学电子信息学院，合作作者Matthias Rätsch同时隶属于德国罗伊特林根大学工程学院。该研究成果发表于Textile Research Journal，于2020年在线出版。
研究背景与目的
本研究属于计算机视觉与纺织工业质量检测的交叉领域。织物作为日常消费品和工业用品的基础材料，其质量直接关系到企业声誉、生产成本乃至特殊领域（如医疗和航天用织物）的安全性能。当前，大多数织物疵点检测仍依赖人工目视检验，该方法不仅劳动成本高昂，且检测准确率仅约70%，容易受到人为失误的影响。随着工业4.0的发展和工厂信息化革命的推进，基于计算机视觉的自动视觉检测（Automated Visual Inspection, AVI）技术成为研究热点，它能够提高效率、节约成本并保证产品质量的稳定性。
传统机器视觉方法主要包括基于模型、基于滤波器、基于学习和基于特征的四类方法。然而，这些方法往往需要根据特定任务手工设计特征（hand-crafted features），时间复杂度过高或参数调整依赖人工经验，难以满足实际生产需求。近年来，卷积神经网络（Convolutional Neural Networks, CNN）能够自动从数据中学习有用特征，无需复杂的手工设计，在图像分类、目标检测和图像分割领域取得了显著成功。然而，将深度学习方法应用于织物疵点检测仍面临两个关键挑战：其一，实际工厂生产条件对检测方法的实时性要求极高；其二，织物疵点作为异常样本极为稀少，导致严重的样本不平衡问题，使得深度学习模型训练困难。
针对上述问题，本研究旨在提出一种高效的端到端织物疵点分割网络，以实现在像素级别上对织物疵点的精确分类与定位，同时满足实时在线检测的需求。
研究方法与工作流程
本研究提出的Mobile-Unet模型包含两个核心阶段：预训练阶段和语义分割阶段。
第一阶段为预训练阶段。研究采用MobileNetV2作为特征提取器对整幅织物图像进行分类训练。MobileNetV2是由Google提出的轻量级分类网络，其核心技术是深度可分离卷积（depth-wise separable convolution）。与传统标准卷积相比，深度可分离卷积将标准卷积分解为逐通道卷积和逐点卷积两个步骤，大幅减少了需要调整的参数数量和计算量，从而降低了过拟合风险，并使其更适合实时视觉应用。MobileNetV2的基本构建模块为倒置残差块（inverted residual blocks），包含两种类型：步长为1的残差块和步长为2的下采样块。每个块由三层构成：第一层为1×1卷积配合ReLU6激活函数；第二层为3×3深度可分离卷积；第三层为1×1卷积但不设置非线性激活函数，以避免深层网络中ReLU导致的信息丢失。在该阶段，输入为织物图像及其整图类别标签，若图像中存在多个疵点，则以面积最大的疵点类别作为分类结果。该阶段的训练旨在获取预训练权重，以增强后续分割网络在小样本条件下的表达能力。
第二阶段为语义分割阶段。该阶段构建了一个端到端的像素级分割网络。模型以经典的U-Net架构为基础，U-Net由下采样编码器和上采样解码器两部分组成，通过跳跃连接融合高层特征与低层特征，增强对图像细节的分割能力。Mobile-Unet的创新之处在于将编码器部分替换为预训练阶段MobileNetV2的特征提取层，解码器部分则由五层反卷积层（deconvolution layers）和四个倒置残差块交替构成，使得输入图像与输出分割结果的尺寸完全一致。最终，通过Softmax层生成每个像素所属类别的分割掩膜。该阶段的训练数据集为原始织物图像及其像素级人工标注图像。
针对织物疵点检测中前景（疵点）与背景（正常区域）样本严重不平衡的问题，本研究引入了一种改进的损失函数——基于中位频率平衡加权的交叉熵损失函数（Cross-entropy loss with Median Frequency Balancing, CE-MFB）。该方法属于软采样方法，不丢弃任何样本，而是通过为各类别赋予不同权重，使少数类样本对总损失贡献更大。具体而言，类别c的权重由训练集中各类别频率的中位数与实际频率之比决定，从而迫使模型更加关注稀少类别。
研究使用了两个织物图像基准数据库进行性能评估：Fabric Images (FI)数据库，包含106张来自香港大学电气与电子工程系工业自动化研究实验室的星形、点状和箱形图案织物图像，图像尺寸为256×256像素，包含断经、破洞、结头、跳花、粗纬和细纬六种缺陷类型；Yarn-dyed Fabric Images (YFI)数据库，采集自中国某纺织厂，包含1340张平纹、纹理和复杂印花织物图像，涵盖脱针、污渍、断丝和破洞四种缺陷类型。所有图像均经过严格的人工逐像素标注，采用独热编码（one-hot encoding）以不同颜色区分不同缺陷类别。为增强模型的泛化能力和防止过拟合，采用了裁剪、填充和水平翻转等数据增强技术。数据集按7:3的比例随机划分为训练集和测试集。
实验在配备Intel Core i7 7700K处理器、128GB内存和GeForce 1080Ti GPU的服务器上进行，使用Windows 10操作系统和PyTorch深度学习框架。采用Adam优化器更新网络参数，各层权重以均值为0、标准差为0.001的高斯分布初始化，初始学习率为0.001，动量为0.9，权重衰减为5×10⁻⁵，批大小为2，共迭代400轮。
主要研究结果
在定性分析方面，研究将Mobile-Unet与全卷积网络（FCN）、SegNet、U-Net三种端到端深度学习分割模型，以及传统方法LGM-FC和混合方法PTIP进行了对比。视觉检测结果显示，FCN、SegNet和U-Net虽能分割缺陷，但在像素分类上存在一定错误。LGM-FC在简单纹理上表现良好，但无法完成大纹理织物的缺陷分割。PTIP在规则纹理织物上分割准确，但过度依赖织物的周期性纹理，无法检测非纹理织物的缺陷，且分割结果呈现方块状区域。相比之下，Mobile-Unet实现了像素级缺陷分割，更完整地保留了缺陷的细节信息，在所有缺陷类型和纹理类型上均表现优异。
在定量分析方面，采用交并比（Intersection over Union, IoU）、召回率（Recall）、精确率（Precision）和F1-measure四项指标进行评估。在YFI数据集上，Mobile-Unet的IoU达到0.92，Recall为0.92，Precision为0.99，F1-measure为0.95，均显著优于其他对比方法。在FI数据集上，Mobile-Unet同样取得了最高的IoU（0.70）和F1-measure（0.82）。值得注意的是，YFI数据集的各项指标普遍高于FI数据集，这是由于FI数据集的样本数量更少而缺陷类型更多所致。
关于改进损失函数的有效性，实验通过对比训练过程中模型精度的增长趋势来验证。结果表明，采用CE-MFB损失函数的模型比采用普通交叉熵损失函数的模型收敛速度更快，且最终分割精度更高，证明了其在处理样本不平衡问题上的有效性。
在计算成本分析方面，深度可分离卷积在GPU平台上的运行速度是传统卷积的两倍以上（0.0298ms对比0.0658ms），在CPU平台上同样具有明显优势。Mobile-Unet在不同硬件平台上的检测速度测试显示：即使在ARM核心的嵌入式平台Jetson TX2上，检测速度也能达到31帧/秒。模型效率对比表明，Mobile-Unet仅需460万个参数，而U-Net、SegNet和FCN分别需要3110万、2940万和1860万个参数；Mobile-Unet的模型大小为22.98MB，远小于其他模型。在浮点运算次数（FLOPs）和乘加运算次数（MADDs）方面，Mobile-Unet同样大幅优于对比模型。单张图像检测时间仅为7.05毫秒，检测速度高达140帧/秒，远超实时检测（30帧/秒）的要求。
研究结论与价值
本研究受MobileNetV2和U-Net的启发，提出了一种高效的织物疵点分割深度学习模型Mobile-Unet。该模型在YFI和FI数据集上均取得了最先进的性能，分割精度与检测速度均达到领先水平。与SegNet和U-Net相比，Mobile-Unet的浮点运算次数减少至十分之一，参数量减少至五分之一，同时实现了更高的分割精度。改进的中位频率加权损失函数有效缓解了样本不平衡导致的训练困难问题，加速了模型收敛并提高了检测精度。
在应用价值方面，Mobile-Unet凭借极低的计算资源需求和极快的检测速度，非常适合部署于资源受限的工业嵌入式设备中，能够满足织物生产线上实时在线自动检测的实际需求，为纺织行业的质量控制提供了强有力的技术支撑。在科学价值方面，该研究验证了将轻量级分类网络与语义分割架构相结合的可行性，为解决其他工业表面缺陷检测中面临的实时性与准确性权衡问题提供了参考范式。
研究亮点
本研究的突出贡献在于三个方面。第一，区别于传统的缺陷分类或定位算法，Mobile-Unet是一种新颖的端到端缺陷分割网络，实现了像素级的织物疵点分类。第二，该模型通过引入深度可分离卷积，大幅减少了模型参数和计算复杂度，在保持高精度的同时显著缩短了检测时间，更适合在线自动检测的实际应用场景。第三，使用中位频率平衡加权的交叉熵损失函数成功克服了缺陷样本与非缺陷样本之间的严重类别不平衡问题。
研究人员同时指出，当前方法作为有监督学习方法，训练过程需要大量人工标注数据，因此开发弱监督和无监督的缺陷分割方法是未来的研究方向。