关于“CrossAD：一种考虑跨尺度关联和跨窗口建模的时间序列异常检测框架”的学术研究报告
本文介绍了一项名为“CrossAD”的创新性研究，该研究针对时间序列异常检测领域中的关键挑战，提出了一种全新的解决方案。该工作由华东师范大学和山东浪潮数据库技术有限公司的研究人员共同完成，并已发表在人工智能领域的顶级会议——第39届神经信息处理系统大会（NeurIPS 2025）上。
一、 研究背景与目标
本研究属于机器学习与数据挖掘领域，具体聚焦于时间序列异常检测。随着社会数字化进程的加速，从金融波动、气象变化到工业设备监控，时间序列数据无处不在。及时、准确地检测这些数据中的异常，对于预防危机、减少损失（如金融风险、设备故障）至关重要。然而，现实世界中的异常模式复杂多变，既可能表现为单个时间点的剧烈波动（点异常），也可能表现为连续时间段的整体行为偏离（子序列异常），这对检测模型提出了巨大挑战。
现有研究已证明，多尺度建模对于揭示在单一尺度下不明显的潜在异常模式非常有益。这是因为时间序列数据在不同采样粒度下会展现出不同的模式。然而，当前的多尺度方法存在两大主要局限：1) 忽视跨尺度关联的动态变化：现有方法通常独立建模不同尺度的信息，或仅采用简单的特征融合策略，忽略了正常与异常状态下，粗粒度与细粒度序列之间关联关系的动态变化。如图1所示，正常子序列（蓝色部分）与异常子序列（红色部分）的跨尺度关联存在显著差异。2) 固定滑动窗口的限制：大多数方法基于固定大小的滑动窗口进行多尺度建模，这限制了模型捕获全面上下文信息的能力，使其无法灵活关联当前窗口的多尺度信息与整个时间序列的全局上下文。
为解决上述挑战，本研究旨在开发一个能够显式建模跨尺度关联并克服固定窗口限制的新型时间序列异常检测框架。其核心目标是：通过从粗粒度序列重构细粒度序列来学习正常的跨尺度映射关系，当异常发生时，这种关联被破坏，重构失败，从而实现异常检测；同时，通过构建一个可跨窗口共享的全局多尺度上下文，突破单个滑动窗口的信息壁垒，提升模型对复杂异常模式的检测性能。
二、 CrossAD框架的详细工作流程
CrossAD框架是一个集成了跨尺度重构和跨窗口建模两大核心组件的端到端无监督学习模型。其整体架构如图2所示，主要包含以下流程：
1. 多尺度生成与嵌入： 研究首先对输入的原始时间序列进行多尺度下采样。给定原始序列 (x_m)，使用不同大小的平均池化核进行下采样，生成 (m) 个不同时间粒度的序列 ({x_0, x1, …, x{m-1}})，其中 (ti < t{i+1})，表示粒度从粗到细。随后，对每个尺度的序列独立进行块嵌入操作，即将每个序列分割成多个块（patch），并通过一个多层感知机（MLP）将每个块映射到一个 (d) 维的表示空间中，同时加入位置编码以保留时间信息。最终，将所有尺度的嵌入表示沿块维度拼接，形成编码器的输入 (h^0)。
2. 尺度独立编码： 此阶段旨在独立探索每个尺度内部的时间依赖关系。研究采用Transformer编码器进行建模，但关键创新在于引入了一个尺度独立掩码矩阵 (M_1)。该掩码矩阵的设计确保自注意力机制仅在同一个尺度的内部块之间进行计算，不同尺度之间的注意力被屏蔽（设置为负无穷）。这样，编码器能够在不受到其他尺度信息干扰的情况下，充分学习每个尺度自身的时序模式，输出每个尺度的独立表示 (h^l_i)。
3. 跨窗口建模与子序列表示提取： 这是克服固定窗口限制的核心模块。其核心思想是：虽然滑动窗口限制了模型只能看到窗口内的数据，但不同窗口中相似的子序列模式（上下文）是可以共享的。为此，研究创新性地构建了一个可学习的查询库 (Q = {q_1, …, q_n})，其中每个 (qi) 代表一个潜在的子序列模式模板。 * 周期感知路由器：为了动态地为当前窗口选择最相关的子序列查询，设计了一个路由器。该路由器首先将输入序列通过傅里叶变换转换到频域，保留振幅最大的k个分量以抑制噪声，再通过逆傅里叶变换重构出主要的周期模式 (x{period})。随后，一个MLP根据 (x_{period}) 生成路由决策向量，并利用Gumbel-Softmax门控机制，从查询库中激活一组适用于当前窗口的子序列查询 (q_t)。 * 子序列表示生成：利用激活的查询 (q_t)，通过跨注意力机制从编码器输出的多尺度表示 (h^{l,t}) 中，提取出一个能够捕获窗口内多尺度信息的、可跨窗口共享的跨尺度子序列表示 (r_t)。 * 全局多尺度上下文更新：研究维护了一个全局多尺度上下文 (G = {g_1, …, g_k})，由k个随机初始化的原型向量组成。在训练过程中，计算提取出的子序列表示 (r_t) 与所有原型的距离，并将其分配给最近的原型，随后使用指数移动平均（EMA）更新该原型。通过这种方式，(G) 能够动态地学习和记忆在整个训练数据集中出现的各种具有多尺度信息的子序列模式。
4. 下一尺度生成（跨尺度重构解码）： 这是显式学习跨尺度关联的关键阶段，目标是利用更粗尺度的信息来重构更细尺度的序列。 * 插值对齐：首先，将编码器输出的每个尺度的表示 (h^l_i) 通过插值，使其在块维度上与下一个更细尺度 (i+1) 的表示对齐，得到 (z^0_i)。 * 跨尺度掩码解码：解码器以对齐后的多尺度表示 (z^0) 为输入。为了重构第 (i) 个尺度的序列，模型以所有比它粗的尺度表示 ({z^00, …, z^0{i-1}}) 为条件。这是通过一个跨尺度掩码矩阵 (M_2) 实现的，该掩码确保每个待重构的尺度只能关注到比它更粗的尺度信息，而不能关注自身或更细的尺度。同时，将之前构建的全局多尺度上下文 (G’)（原型拼接而成）通过注意力机制整合到解码过程中，使模型能够利用从整个时间序列中学到的全局模式来辅助当前窗口的重构。 * 重构输出：解码器的最终输出通过一个线性层映射回原始输入空间，生成所有尺度的重构序列 ({\hat{x}_1, \hat{x}_2, …, \hat{x}_m})。
5. 异常评分与检测： 在推理阶段，模型计算每个尺度上原始序列与重构序列之间的均方误差作为该尺度的异常分数。由于不同尺度的序列长度不同，通过插值将所有尺度的异常分数对齐到原始序列的长度，然后进行聚合（如平均），得到最终的异常分数序列。最后，采用无监督阈值确定方法（如SPOT）自动计算阈值，分数超过阈值的点被判定为异常。
三、 主要实验结果与分析
研究在七个真实世界数据集上进行了广泛的实验，包括SMD、MSL、SMAP、SWAT、PSM以及NeurIPS-TS中的GECCO和SWAN子数据集，并使用了九种评估指标，以全面验证CrossAD的有效性。
1. 主要性能对比： 如表1所示，CrossAD在VUS-ROC和VUS-PR这两个被证明最鲁棒、准确和公平的评估指标上，在所有七个数据集上均取得了最佳性能。这证明了CrossAD在区分正常与异常样本方面具有卓越能力，并且在各种预选阈值下都能保持高检测精度和稳定性，这对于实际应用至关重要。
2. 多指标综合评估： 如表2所示，研究进一步在SMD、PSM和GECCO数据集上，使用包括准确率、标准F1、隶属F1、AUC-ROC、AUC-PR、范围AUC-ROC、范围AUC-PR在内的九种指标，将CrossAD与三个先进的基线模型（ModernTCN, TimeMixer, TimesNet）进行对比。CrossAD在绝大多数指标上均 consistently地取得了最优或次优的结果，充分证明了其综合异常检测能力的优越性。
3. 消融实验分析： 表3的消融研究系统地验证了各个组件的贡献。 * 多尺度建模的重要性：仅引入多尺度重构（各行自身重构）相比基线（无多尺度），平均VUS-PR提升了8.13%。 * 跨尺度重构的有效性：在多尺度基础上引入跨尺度重构（用粗尺度重构细尺度），带来了VUS-ROC 2.47%和VUS-PR 9.18%的显著提升，这强有力地证明了显式建模跨尺度关联对于异常检测的关键作用。 * 跨窗口建模与子序列表示的贡献：引入全局多尺度上下文（第4行）能进一步提升性能，表明突破窗口限制、利用全局信息是有益的。然而，直接使用编码器输出（第4行）的效果不如使用通过查询库提取的子序列表示（第6行，即完整CrossAD）。这说明了学习可共享的子序列模式表示比直接使用受限的窗口内多尺度表示更为有效。仅使用子序列表示和全局上下文而无跨尺度重构（第5行）的性能也低于完整模型，突出了跨尺度重构的核心地位。
4. 模型效率与可视化分析： * 效率：如表4所示，与基于Transformer的Anomaly Transformer相比，CrossAD由于进行了下采样和分块处理，推理时间更短。虽然训练过程因需要持续更新全局上下文而有一定时间成本，但其检测性能（VUS-PR）远超对比模型。 * 可视化验证：图4对比了传统重构准则与跨尺度重构准则在五种不同类型异常（全局点、上下文点、形状、季节性、趋势）上的异常评分。结果显示，传统重构在面对复杂异常模式时表现不稳定，容易出现误报和漏报。而跨尺度重构准则得益于其对跨尺度关联的建模，能够更准确地在各种复杂模式中识别异常序列。 * 重构过程可视化：图5展示了在GECCO数据集上不同尺度的重构结果及最终异常分数。可以看到，当异常发生时，跨尺度关联被破坏，导致多个尺度的重构失败。结合所有尺度的异常分数，能够比依赖单一尺度获得更好的检测性能。图7通过t-SNE可视化表明，学习得到的子序列查询能够有效地将子序列表示聚类，证明了查询库机制能够捕捉有判别力的特征模式。
四、 研究结论与价值
本研究的核心结论是提出并验证了CrossAD框架，它通过跨尺度重构显式地建模了多尺度时间序列之间的关联，并通过跨窗口建模构建全局多尺度上下文来克服固定滑动窗口的局限性。大量实验证明，该方法在多个真实数据集和多种评估指标上均达到了最先进的性能。
其科学价值在于为时间序列异常检测提供了一个全新的视角：从“跨尺度关联的动态变化”这一角度来定义和检测异常，并创新性地利用可学习的子序列查询和全局原型来建模和共享跨窗口的上下文信息，推动了多尺度建模理论的发展。
其应用价值显著，该框架能够更精准地检测各种复杂类型的异常，包括在单一尺度下难以察觉的模式，可广泛应用于金融风控、工业物联网设备预测性维护、航天器健康监测、服务器性能监控等关键领域，有助于提前发现潜在问题，避免重大损失。
五、 研究亮点
六、 其他有价值的内容
研究还在附录中提供了额外的实验分析，包括在更大的TSB-AD基准测试和UCR异常档案上的结果，进一步证明了CrossAD的泛化能力和优越性。同时，研究也讨论了方法的局限性，例如子序列查询数量和全局上下文原型数等超参数需要针对不同数据集进行调整，未来可探索自动化参数调优以进一步提升性能。