基于高流视频的自监督生产异常检测与进度预测

信息科学 自动化
生产监控 自监督学习 异常检测 飞机装配监控 高斯混合模型

基于高流视频的自监督生产异常检测与进度预测

背景介绍

在现代化的制造业中，实时生产监控、进度预测和异常检测是确保生产质量和效率的关键。然而，传统的基于视觉的异常检测方法在处理生产过程中的背景噪声方面存在显著不足，且往往忽略了生产阶段的异质性。许多制造环境，如飞机生产，涉及人机协作或高精度手动装配任务，这些操作通常难以通过嵌入式数字传感器进行监控，而实时操作视频却易于获取。虽然视觉生产监控已在产品表面检测等应用中广泛使用，但现有算法在区分正常背景变化与生产相关异常方面仍面临挑战。

为了解决这些问题，来自清华大学工业工程系的Yifan Li等人提出了一种集成方法，将进度预测与异常检测相结合，采用自编码过程概率嵌入（Autoencoder Process Probability Embedding, APPE）方法。该方法通过将正常生产图像分布映射到与进度相关的高斯混合模型（Gaussian Mixture Model, GMM）中，专注于识别生产相关特征，并通过提出的空间激活图（Spatial Activation Map, SAM）最小化背景干扰。

论文来源

该研究由来自清华大学工业工程系的Yifan Li、Zhi-Hai Zhang、Jiaqi Xu、Xiaowei Yue和Li Zheng共同完成，发表在《IEEE Transactions on Automation Science and Engineering》上，预计于2025年正式出版。

研究流程与结果

研究流程

  1. 问题定义与背景分析
    论文首先详细分析了现有基于视觉的生产监控方法在区分生产相关特征与背景噪声方面的不足，特别是动态生产环境中背景变化的复杂性。作者指出，传统的异常检测方法往往依赖于预定义的规则或类别标签，难以应对生产过程中未预见的异常情况。

  2. APPE方法的提出
    为了克服上述问题，作者提出了APPE方法。该方法的核心是将图像特征映射到高斯混合模型的潜在空间中，通过SAM机制引导模型专注于生产相关特征。具体来说：

    • 编码器（Encoder）：将图像映射到低维的高斯混合分布潜在变量。
    • 空间激活图（SAM）：通过多层感知机（MLP）生成，用于精炼编码器特征。
    • 解码器（Decoder）：重构图像，并根据SAM加权计算空间激活重构误差（Spatial Activated Reconstruction Error, SARE）。
    • 损失函数：结合负对数似然损失（NLL）、三元组损失和SARE，用于训练APPE模型。

  3. 实验设计与数据集
    研究使用了两个实际生产数据集进行评估：水阀生产和商用飞机扰流板生产。水阀生产数据集包含11个装配视频，提取了29,529张训练图像和31个装配视频，标注了700个异常点和5,790个正常点。商用飞机扰流板生产数据集则来自三周的工厂监控视频，提取了约46,000张图像，分为训练集和测试集。

  4. 基线对比与消融实验
    作者将APPE方法与三种著名的异常检测算法（AE、VAE和DAGMM）进行了对比，并进行了消融实验，验证了SAM和NLL在模型中的关键作用。结果显示，APPE在所有异常检测任务中均表现出色，特别是在水阀生产数据集上，APPE的AUC（曲线下面积）和EER（等错误率）均优于基线模型。

  5. 进度预测与异常检测的集成
    研究还提出了将异常检测与进度预测集成的方法，通过后验概率分析，优化进度预测的准确性和错误率。实验表明，集成方法在两种数据集上的进度预测准确率和均方百分比误差（MAPE）均有显著提升。

主要结果与结论

  1. 异常检测性能提升
    在水阀生产数据集上，APPE的AUC为90.79%，EER为17.49%，显著优于其他基线模型。在商用飞机扰流板生产数据集上，APPE的AUC为80.45%，EER为27.24%，同样表现出色。

  2. SAM的有效性
    SAM通过聚焦生产相关像素，显著提高了模型的异常检测能力。消融实验显示，去除SAM后，模型的性能大幅下降，证明了其在APPE中的关键作用。

  3. 进度预测的优化
    集成异常检测与进度预测后，水阀生产数据集的进度预测准确率从94.60%提升至95.37%，MAPE从5.03%降至4.97%。商用飞机扰流板生产数据集的进度预测准确率从92.25%提升至92.36%，MAPE从4.97%降至4.95%。

研究意义与亮点

  1. APPE方法的创新性
    APPE方法通过结合高斯混合模型和空间激活图，提出了一种全新的生产监控框架，显著提高了异常检测和进度预测的准确性和效率。

  2. 自监督学习机制
    研究提出的自监督学习机制，使得模型能够在没有异常数据的情况下，通过学习正常生产过程的特征，有效预测未预见的异常情况。

  3. 实际应用价值
    该研究不仅具有科学价值，还为实际生产环境中的实时监控提供了可行的解决方案，特别是在复杂的人机协作和高精度手动装配任务中，具有广泛的应用前景。

总结

Yifan Li等人的研究通过提出APPE方法，成功解决了生产监控中的异常检测和进度预测问题。该方法不仅提高了异常检测的准确性，还通过集成优化了进度预测的性能。研究为制造业提供了强大的工具，有望在高精度制造和复杂生产环境中发挥重要作用。