分享自:

双教师协同蒸馏自编码器的织物疵点检测方法

期刊:纺织高校基础科学学报DOI:10.13338/j.issn.1006-8341.2026.03.015

本文档属于类型a,即单一原创研究的学术论文。以下是对该研究的学术报告。

本研究由管声启、宋翌宸、沈佳宇、侯领共同完成,第一作者及通信作者管声启来自西安工程大学机电工程学院,研究方向为零件质量检测与机器视觉。该研究以《双教师协同蒸馏自编码器的织物疵点检测方法》为题,发表于《纺织高校基础科学学报》第39卷第3期,出版时间为2026年6月,论文页码为89至97页,文献标志码为a,doi为10.13338/j.issn.1006-8341.2026.03.015。该研究受陕西省重点研发计划项目(2022GY-058)及高校院所科技人员服务企业项目(25GXKJRC00036)资助。

在学术背景方面,该研究属于机器视觉与纺织工业智能检测交叉领域。织物疵点检测是纺织行业质量管理的关键环节,直接影响产品合格率、企业经济利益与品牌价值。随着智能制造与工业4.0趋势推进,基于深度学习的智能检测方法逐渐成为研究热点。当前主流方法分为有监督学习与无监督学习两类。有监督方法虽然准确度较高,但高度依赖大量高质量标注样本,而织物疵点样本常常不足,人工标注成本高,限制了其实际应用。无监督方法通过构建正常样本特征空间实现异常检测,可缓解标注样本不足的问题,但现有方法在轻量化与准确度之间难以兼顾,尤其对于微小或低对比度疵点检测敏感度较低。自编码器作为典型的无监督方法,在异常检测中具有良好的泛化性能,但存在全局建模与异常重构效果较弱的问题。知识蒸馏兼具模型轻量化与性能强的优势,但单教师模型受限于单一网络特征提取能力,难以适配织物疵点多尺度、多类型的特点;简单多教师模型仅实现结果层面融合,未建立教师之间的协同监督与知识互补机制。同时,传统自编码器特征表示常基于欧氏空间度量,其线性距离度量难以适配低对比度疵点等细微特征。为此,本研究旨在提出一种双教师协同蒸馏自编码器方法,通过双编码器互补提取特征、双教师协同蒸馏强化解码器学习、双曲空间表达优化特征度量,实现轻量化与高准确度的平衡。

在工作流程方面,该研究提出了双教师协同知识蒸馏自编码器(dual-teacher cooperative knowledge distillation autoencoder, dt-kdae),其设计包括三个主要部分:编码器设计、双教师协同蒸馏解码器设计以及自编码器特征的双曲空间表示。第一部分,编码器设计。为控制模型参数量的同时保持数据压缩效率与特征保真度,分别选用resnet-18和efficientnet-b0作为编码器的主干网络。对于resnet编码器,去除全连接层的resnet-18通过残差结构实现高效特征提取与维度压缩;对于efficientnet编码器,去除全连接层的efficientnet-b0利用复合缩放策略提取多尺度疵点特征。隐藏层使用2个连续的1×1卷积层实现特征压缩。两种编码器通过多轮卷积与池化操作最终输出低维潜在表示。第二部分,双教师协同蒸馏解码器设计。首先进行解码器轻量化设计:对应resnet-18主干的解码器仅保留原始网络前2个残差层,移除后续高层特征提取模块,并将每个残差层内的基础模块数量从标准[2,2]配置调整为[1,1];对应efficientnet-b0主干的解码器移除avgpool模块以减少冗余计算。其次采用双教师协同蒸馏策略:第一组resnet教师-学生模型中,教师模型选用完整resnet-18,学生模型为轻量化后的resnet-18解码器;第二组efficientnet教师-学生模型中,教师模型选用完整efficientnet-b0,学生模型为轻量化后的efficientnet-b0解码器。在特征对齐环节,由于教师与学生模型在网络层数、卷积步长及通道设计存在差异,需通过指定输出索引确保输出相同数量的特征层。resnet-18教师模型输出第1、2阶段特征层,重点提取边缘与局部特征信息;efficientnet教师模型输出第3、4阶段特征层以捕获多尺度疵点特征。若空间分辨率不一致,使用双线性插值调整;若通道数不一致,通过1×1卷积映射至相同维度。蒸馏损失采用多层均方误差损失,使学生模型在各尺度空间逼近教师特征分布。双教师协同蒸馏损失与融合异常得分环节中,两个教师模型分别监督各自学生模型输出特征,形成双通道蒸馏信号;测试阶段通过efficientnet异常响应引导resnet异常分的权重分配,实现动态加权特征融合。具体地,将efficientnet异常数值范围作为尺度校准因子θ,根据尺度标准因子生成动态加权系数λ,最后实现动态加权特征融合s(x)=λs_res。第三部分,自编码器特征的双曲空间表示。传统自编码器特征表示基于欧几里得空间度量,线性度量方式难以满足低对比度等复杂疵点几何特征表示要求。本研究采用poincaré球模型作为双曲空间的几何载体,通过指数映射函数将欧氏空间特征映射至双曲空间,并定义双曲空间距离计算公式。随后设计融合双曲损失函数,通过最小化同类疵点样本和最大化异类疵点样本的双曲距离来增强特征判别能力。总损失函数由自编码器重构损失、双曲损失与双教师协同蒸馏损失加权求和构成,权重系数w1、w2、w3通过五折交叉验证确定,在mvtec ad数据集上以准确度为优化目标,遍历w1∈[0.1,0.5]、w2∈[0.2,0.4]、w3∈[0.2,0.5]的组合,最终确定w1=0.4、w2=0.3、w3=0.3。

在实验方面,研究采用mvtec ad数据集carpet类作为实验对象,包括89张疵点图像(污渍、撕裂、破洞、异物、勾丝五类)作为验证集与280张正常织物图像作为训练集,分辨率为1024×1024。实验环境为nvidia rtx 4060-8 gib显卡,操作系统为windows 11,python 3.8.0,pytorch 2.2.0,cuda 11.1。训练轮次为50,训练批次为32,学习率为0.0004,优化器为adam,验证集比率为0.2,图像尺寸与裁切尺寸均为256。评估指标选用auc(area under the curve)评估准确度,同时选用参数量与浮点运算次数(flops)评估轻量化程度。

在结果方面,改进前后自编码器对比实验表明,resnet-18-ae的平均auc为91.64%,flops为1100.246×10^6,参数量为11.177×10^6;efficientnet-b0-ae的平均auc为91.50%,flops为390.225×10^6,参数量为4.010×10^6。轻量化后,lite-resnet-18-ae的平均auc降至73.92%,flops降至520.355×10^6,参数量降至5.600×10^6;lite-efficientnet-b0-ae的平均auc降至73.66%,flops降至210.124×10^6,参数量降至2.160×10^6。改进后的dt-kdae模型平均auc达99.66%,flops为730.479×10^6,参数量为7.460×10^6,在保持较低计算与参数开销的同时显著提升了检测准确度。消融实验结果进一步验证了各模块的有效性:基准模型的平均auc为91.50%,引入双编码器双解码器后提升至97.00%,但flops与参数量分别增至1495.363×10^6和15.617×10^6;在此基础上进行解码器轻量化,flops缩减59.50%,参数量缩减54.20%,但auc降至91.72%;引入双曲空间后auc提升至94.13%,flops增至680.471×10^6,参数量增至7.460×10^6;在未轻量化但引入双曲空间的情况下auc为97.24%;最终结合所有策略的dt-kdae达到99.66%的auc。与现有无监督检测方法相比,vit-cnn的平均auc为98.2%,patch-svdd为92.9%,draem为97.0%,patchcore为98.7%,destseg为99.3%,而dt-kdae以99.6%的auc以及最低的flops(0.730×10^9)和参数量(7.46×10^6)实现了轻量化与高准确度的有效平衡。在泛化性实验中,dt-kdae在mvtec ad数据集其他类别以及aitex数据集上也表现出稳定性能,例如在bottle类上auc达99.8%、cable类为95.2%、capsule类为94.2%、hazelnut类为99.1%、leather类为99.6%、zipper类为93.2%等,在aitex数据集上auc为91.1%,证明其具有一定泛化能力。

本研究的结论是,所提出的dt-kdae方法在mvtec ad数据集carpet类上准确度达99.66%,flops为7.30479×10^8,参数量为7.460×10^6,能够在保持轻量化的同时兼顾较高检测准确度。该方法仅需正常样本进行训练,具备部署便捷、人工成本低的特点,为纺织工业智能质检提供了切实可行的方案。科学价值方面,该研究通过双教师协同蒸馏策略与双曲空间特征表示的结合,解决了自编码器轻量化与高准确度难以兼顾的问题,为无监督织物疵点检测提供了新的技术路径。应用价值方面,该方法对标注样本依赖低,适合工业场景中疵点样本不足的实际情况,有助于推动纺织行业智能化质检的发展。

本研究的亮点在于:第一,提出了双教师协同蒸馏自编码器结构,利用resnet-18与efficientnet-b0教师模型各自的特征提取优势,通过协同蒸馏与动态加权异常分融合提升解码器的特征还原能力;第二,将自编码器特征映射至双曲空间,利用poincaré球模型及其指数级距离度量放大特征间差异性,有效提高低对比度疵点检测准确度;第三,在保持较高检测准确度的同时,实现了模型参数量与计算量的有效控制,flops与参数量均低于对比方法中的大多数模型,兼顾了轻量化与高准确度的现实需求。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com