分享自:

混合CNN-Transformer模型在工业缺陷检测中的系统综述

期刊:Results in EngineeringDOI:10.1016/j.rineng.2026.109457

本文作者为 Sami AssadNor Ashidi Mat IsaSami Abdulla Mohsen Saleh,分别来自马来西亚理科大学(Universiti Sains Malaysia)电气与电子工程学院和科威特澳大利亚大学(Australian University)工程学院。该文发表于 Results in Engineering 期刊2026年第29卷,是一篇系统性综述。

一、研究背景与目的

工业缺陷检测在现代制造业质量保障中具有核心地位,直接关系到产品完整性、运营效率和经济价值。传统的人工目检方法受主观性、疲劳度和速度限制,已无法满足高速生产线对微小、遮挡、不规则缺陷的检测需求。卷积神经网络(Convolutional Neural Network, CNN)凭借局部特征提取能力和计算效率,长期以来是工业缺陷检测的主流方法;然而,其感受野有限、下采样导致的空间信息丢失,使其难以捕捉全局上下文关系。Transformer凭借自注意力机制在建模长距离依赖方面表现突出,但缺乏CNN固有的归纳偏置,且计算复杂度高,对数据和算力要求苛刻。

为结合两者优势,近年来混合CNN-Transformer模型在印刷电路板(Printed Circuit Board, PCB)、钢表面、纺织品、输电线路和铁路等工业领域迅速兴起。然而,该领域一直缺乏系统性的分类框架和跨领域部署可行性评估。本文的目标正是填补这一空白,提供首个专门针对工业缺陷检测的混合CNN-Transformer架构的系统性综述。

二、主要观点与分类框架

本文提出了一个双路径分类法(dual-path taxonomy),将混合模型按照融合策略划分为结构融合模块融合两大类。

观点一:结构融合策略强调架构组件间的信息流动方式,可分为并行、顺序和层次融合三种类型。

并行融合让CNN和Transformer分支独立处理特征后在后期合并。例如,文献[121]提出的ESwin-UNet结合了U-Net和Swin Transformer并行分支,在MVTec-ITODD数据集上实现了78.91%的F1分数和65.16%的Jaccard指数,优于纯U-Net和Swin-UNet基线。其优势在于同时保留局部细节和全局语义,但参数规模达到38.46M,部署受限。顺序融合则是将一种组件的输出馈入另一种组件,通常由CNN先提取局部特征,再由Transformer进行全局上下文建模。例如,Li等人提出的CNN-T模型以仅0.48M参数和0.12 GFLOPs的轻量结构,在NEU-CLS钢缺陷分类上达到99.17%的准确率。层次融合则采用级间交错或共享组件的方式实现更细粒度的局部-全局交互。例如,Jiang等人提出的CINFormer通过多阶段CNN特征单向注入Transformer流,在NEU、DAGM 2007和MTD数据集上分别取得85.7%、86.5%和78.1%的mIoU,优于CNN、Transformer及其他混合基线。

观点二:模块融合策略将Transformer组件嵌入标准目标检测器的特定阶段,包括骨干网络、颈部、头部或多阶段融合。

骨干网络融合是最常见的方式。Yang等人提出的CFE-YOLOv8s将骨干网络中的C2f模块替换为BiFormer模块,利用双层路由注意力(Bi-level Routing Attention)选择性聚焦相关区域,在NEU-DET和GC10-DET上分别达到77.8%和69.55%的mAP,同时参数减少22%,FLOPs降低18%。Liu等人提出的MobileViT-YOLO采用改良MobileViT骨干网络并结合坐标注意力(Coordinate Attention, CA),针对PCB缺陷检测优化了轻量化设计。颈部融合则通过在特征聚合阶段引入Transformer增强多尺度融合能力。头部融合将Transformer应用于分类和边界框回归阶段,如Zhu等人提出的TPH-YOLO将YOLOv5的检测头替换为Transformer预测头,并增加第四个专门用于小目标检测的头。多阶段融合则同时在骨干网络、颈部和头部嵌入Transformer模块,以实现更全面的性能提升。

观点三:跨领域分析揭示了不同工业领域中混合架构的采用趋势和性能特征差异。

在PCB检测领域,混合模型主要用于解决微小元器件缺陷和电路断路的检测。文献[170]提出的DDTR双分支模型采用残差Swin Transformer与CNN并行结构,在PKU-Market-PCB数据集上取得40.49%的F1分数。在钢表面检测领域,文献[176]和[177]的分类模型分别以极低参数量和实时推理速度实现了超过98%的准确率。在织物检测领域,DeFT模型[180]采用多池化自注意力机制,在Fabric Defect数据集上达到54.4%的F1分数,优于U-Net和Swin-UNet。输电线路和铁路领域的应用同样表现出对全局上下文建模的强烈需求,以应对复杂背景下的遮挡和微小缺陷。

观点四:部署可行性评估表明,混合模型在精度提升与推理速度、模型大小和边缘设备适配性之间存在明确的权衡关系。

综述以工业实时检测要求(速度≥30 FPS,边缘部署参数≤10M)为基准,对所选模型进行了系统比较。MobileViT-YOLO和CNN-T等轻量化设计在参数规模和计算复杂度上具有明显优势,适用于资源受限环境。而ESWin-UNet、DeFT等追求极致精度的模型参数量常超过30M,推理速度亦未达到实时要求,更适合离线或高性能计算场景。多数研究未报告推理延迟、内存占用等关键部署指标,表明该领域在工程化落地方面仍存在显著不足。

三、研究意义与价值

本文的学术价值在于首次建立了工业缺陷检测领域混合CNN-Transformer架构的系统性分类框架,将结构融合与模块融合两类设计思路清晰区分,为后续研究提供了概念工具和比较基准。其实用价值在于对PCB、钢表面、纺织品等多个工业领域的跨领域分析,帮助研究者理解不同应用场景下融合策略选择的逻辑依据。此外,通过部署可行性评估,本文明确了精度-效率权衡的现实约束,为面向边缘设备的轻量化设计提供了方向性指引。提出的未来研究方向——轻量化设计、合成数据扩展和域迁移技术——也具备明确的工程实践针对性。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com