基于单类对比学习的多元时间序列异常检测框架研究
一、研究概况
本研究由首尔国立大学电气与计算机工程系的Hyungi Kim和Siwon Kim、LG AI Research的Seonwoo Min以及首尔科学技术大学电子工程系的Byunghan Lee（通讯作者）共同完成。该论文于2023年11月22日被接受，并发表于2024年10月的《IEEE Transactions on Knowledge and Data Engineering》（第36卷，第10期）。研究团队提出了一个名为CTAD（Contrastive Multivariate Time-series Anomaly Detection，对比多元时间序列异常检测）的创新框架，通过将单类学习（one-class learning）策略融入对比学习（contrastive learning）损失函数，并结合精心设计的七种通用时间序列数据增强方法，有效解决了现有多元时间序列异常检测方法的局限性。
二、研究背景与科学问题
随着信息物理系统（Cyber-Physical Systems, CPS）日益复杂化，系统中传感器和执行器数量急剧增加，多元时间序列的异常检测面临更严峻的挑战。传统的基于深度学习的异常检测方法虽然在准确性上取得了一定进展，但针对实际应用场景，一个兼具高精度、快速推理和噪声鲁棒性的检测框架仍处于缺失状态。
近年来，对比学习在图像异常检测领域展现出卓越的性能。其核心思想在于：通过编码器将正常样本映射到嵌入空间（embedding space）的特定区域，使得未见过的异常样本或分布外（out-of-distribution）样本在嵌入空间中距正常样本存在较大距离。然而，将实例判别（instance discrimination）式的对比学习框架直接迁移至多元时间序列异常检测存在两个根本性挑战。第一，时间序列数据通过滑动窗口分割后，不同实例间存在天然的时间相关性（temporal correlation），传统方法将时间相关的样本视为负样本（negatives），会导致相关实例的表示在嵌入空间中被错误地推开，从而降低表示质量。第二，时间序列领域缺乏经过系统探究的、适用于异常检测的通用数据增强（data augmentation）方法，而图像领域的空间或像素级增强（如裁剪、颜色抖动、旋转等）无法直接迁移至时间序列数据。
基于上述背景，本研究旨在构建一个能够克服实例判别局限性、并具备通用时间序列数据增强策略的对比学习框架，以实现更精准、快速和鲁棒的多元时间序列异常检测。
三、研究方法与工作流程
CTAD框架的训练流程包含四个核心步骤：滑动窗口批次构建与合成异常生成、编码器网络架构搭建、单类对比损失函数设计以及异常分数（anomaly score）定义。
1. 问题建模与数据预处理 在无监督多元时间序列异常检测设定下，训练集被假定为仅包含正常观测值的连续时间序列。训练阶段，采用窗口大小为s的滑动窗口将连续序列切片，构建窗口批次（window-sliced batch）。推理阶段，测试集的窗口批次被输入模型，并通过与预计算的正常样本聚类中心比较得出异常分数。
2. 通用时间序列数据增强方法的设计 这是CTAD框架的核心创新之一。研究团队提出了七种通用的时间序列数据增强方法，并将其分类为三种扰动类型。第一类为尺度扰动（Scale Perturbation），包括放大（amplification）、附加偏置（additive bias）和丢弃（dropout），这类增强以逐点（point-wise）方式运作，通过随机选择变量和时间步来改变时序信号的幅度。第二类为时间扰动（Temporality Perturbation），包括反转（reversing）、置换（permutation）和掩码（masking），该类增强以连续单变量时间序列为输入，改变其时间顺序信息。第三类为噪声干扰（Noise Interference），通过注入独立同分布的加性高斯白噪声来增强数据。
上述增强方法的多样性和强度由两个关键参数控制：所选变量数nv和每个变量中被增强点的百分比p。这种设计显著增加了增强样本的随机性和多样性，为后续的对比学习提供了丰富的语义保持视图（semantic-preserving views）和可靠的合成异常（synthetic anomalies）。
3. 单类对比损失函数的提出 为克服传统NT-Xent损失（the normalized temperature-scaled cross entropy loss，归一化温度尺度交叉熵损失）在时间序列中的缺陷，研究团队提出了单类对比损失（one-class contrastive loss）。该损失函数的核心思想在于：将训练批次中所有来自正常窗口的增强视图均视作正样本（positives），即彼此的特征表示应在嵌入空间中相互吸引。为构造用于对比的负样本，CTAD引入了负增强（negative augmentation）的概念，即通过特定的数据增强方法（即负增强随机变量a−）人为生成偏离正常分布的合成异常样本，其表示将被推向远离所有正常样本锚点的位置。最终，对于每个锚点窗口，批次中所有2n-1个正常增强视图均为其正样本，而所有2n个由负增强生成的视图均为负样本，模型通过在此设定下优化对比损失来学习具有判别性的表示。
4. 编码器架构与训练细节 CTAD采用极为简洁的编码器（encoder）架构，由单层LSTM（Long Short-Term Memory，长短期记忆网络）和由两层带批归一化（Batch Normalization, BN）的多层感知机（Multi-Layer Perceptron, MLP）构成的投影层（projection layer）组成。模型使用Adam优化器配合余弦退火学习率调度器（cosine annealing learning rate scheduler）进行训练。
5. 异常分数定义 推理阶段，通过计算未见窗口样本在嵌入空间中的表示与所有训练正常样本的聚类中心（centroid）之间的距离（可选用L2距离或余弦距离），将其作为该窗口的异常分数。若分数超过选定阈值，则判定窗口最终时间步的观测为异常。由于聚类中心可在训练结束后预计算并存储，该框架得以实现极快的推理速度。
四、主要实验结果与发现
研究团队在SWaT（Secure Water Treatment）、WADI（Water Distribution）、MSL（Mars Science Laboratory Rover）和SMAP（Soil Moisture Active Passive Satellite）四个真实世界的公开数据集上进行了全面评估。实验结果表明，CTAD在所有数据集上的AUROC、AUPR、F1分数及经点调整的F1分数（F1pa, F1 with point-adjust）上均显著超越了包括OmniAnomaly、USAD、深度SVDD以及传统自监督学习方法（SimCLR、CSI、MoCo、BYOL）在内的多种基线方法。例如在SWaT数据集上，相较于仅使用实例判别的CSI方法，CTAD将AUPR从0.384提升至0.802（提升2.08倍），F1分数从0.455提升至0.841（提升1.85倍）。通过PCA可视化对比，CTAD生成的正常与异常样本嵌入在空间中呈现出清晰分离的聚类状态，正常样本集中于聚类中心附近，异常样本则被远距离推开，而SimCLR和CSI的嵌入未能实现有效分离。
在数据增强组成的消融研究中，实验得出三项关键结论：第一，异常检测性能主要受负增强类型影响，而非语义保持增强（augmentation a）类型。当负增强a−为偏置或反转时，AUPR始终保持高位。第二，适合用作语义保持增强的方法（如高斯噪声和丢弃）往往不适合用作负增强，反之亦然。第三，整体而言，尺度扰动类增强普遍优于负增强，但将信号值扰动至零（即丢弃或掩码）会严重损害性能。偏置增强是作为负增强的最优选择之一。
进一步的组件消融研究表明，批归一化（BN）是防止模型崩塌的关键因素。在没有BN的情况下，弱负增强强度会导致所有嵌入崩塌至单一点，AUPR从0.802暴跌至0.121。同时，余弦学习率调度、正增强的存在以及使用求和损失而非平均损失均对最终性能有重要贡献。此外，研究还证实，通过在增强中引入随机性（如随机选择增强变量数和增强点比例）以及生成困难负样本（hard negative samples），能够为对比学习提供更丰富多样的样本，从而有效提升检测性能。
模型在计算效率方面展现出显著优势：与OmniAnomaly相比，CTAD参数量减少47.96倍，推理速度提升20.21倍；与USAD相比，参数量减少1.54倍，推理速度提升1.36倍。在噪声鲁棒性测试中，当训练集或测试集受到一定比例的高斯噪声扰动时，CTAD的性能仅出现轻微下降，证明其具备良好的噪声不变性。
五、结论与研究价值
本研究提出了CTAD，一种新颖的基于单类对比学习的多元时间序列异常检测框架。该框架解决了传统实例判别对比学习在时间序列中因错误排斥时间相关样本而导致的性能退化问题，并通过系统性地设计和评估七种通用时间序列数据增强方法，为时间序列对比学习的增强策略提供了重要的选择指南。研究揭示了批归一化在利用困难异常样本中扮演的关键角色，并证明了即使采用简单的LSTM网络，通过恰当的损失函数设计和增强策略，也能实现顶尖的异常检测性能。
在科学价值上，该研究深化了对比学习在序列数据领域的理论认知，证明了将单类分类思想与对比学习融合的有效性，并为时序数据的增强策略研究提供了系统性框架。在应用价值上，CTAD所具备的高精度、极快推理速度和低内存开销，使其能够直接应用于对实时性和资源消耗有严格要求的现实场景，如实时系统监控和可穿戴设备的嵌入式异常检测。其卓越的噪声鲁棒性也进一步提升了模型在复杂工业环境中的可靠性。
六、研究亮点与展望
该研究的亮点主要体现在三个方面：其一，首次将单类学习融入多元时间序列异常检测的对比学习框架，从损失函数层面根本性地解决了实例判别与时间相关性之间的矛盾，填补了该方法论空白。其二，系统提出并比较了七种通用时序增强方法，建立了适用于时间序列异常检测的数据增强性能基准和选择准则，为后续研究提供了坚实的实验基础。其三，发现了批归一化在防止模型崩塌和利用困难负样本方面的决定性作用，这为对比异常检测的优化策略提供了关键洞见。
未来研究方向可聚焦于开发自适应增强策略，如根据窗口信号强度动态调整增强参数，或利用生成模型替代预定义的负增强以产生更逼真的合成异常。此外，对正样本进行更精细的挖掘，如量化窗口片段间的时间上下文紧密度，以及将单类对比损失应用于其他领域的序列异常检测任务，如嵌入式系统或通用序列数据，均是极具潜力的拓展方向。