关于《Can Multimodal LLMs Perform Time Series Anomaly Detection?》研究的学术报告

一、 主要作者、机构与发表信息

本研究的主要作者包括：熊潇旭（Xiongxiao Xu，伊利诺伊理工学院）、王浩然（Haoran Wang，埃默里大学）、梁月清（Yueqing Liang，伊利诺伊理工学院）、余宇（Philip S. Yu，伊利诺伊大学芝加哥分校）、赵越（Yue Zhao，南加州大学）和舒凯（Kai Shu，埃默里大学）。该研究论文已发表于2026年4月13日至17日在阿联酋迪拜举行的ACM网络会议（The ACM Web Conference 2026，简称 WWW ‘26）的会议录中。

二、 学术背景与研究动机

本研究属于人工智能（AI）与数据科学交叉领域，具体聚焦于时间序列分析中的异常检测（Time Series Anomaly Detection, TSAD）问题。时间序列异常检测对于保障大规模在线系统（如云计算、物联网、服务可靠性监控）的稳定运行至关重要。近年来，大型语言模型（Large Language Models, LLMs）在时间序列分析中展现出前所未有的能力，但多模态大语言模型（Multimodal LLMs, MLLMs），特别是视觉语言模型（Vision-Language Models），在时间序列异常检测方面的潜力尚未得到充分探索。

现有的研究工作在处理此问题时存在简化倾向：要么将点异常（Point-wise Anomalies）视为范围异常（Range-wise Anomalies）的特例，要么通过聚合点异常来近似范围异常场景。这些做法限制了对现实场景（如多粒度异常、不规则采样时间序列）的理解。人类检测时间序列异常通常结合可视化（如图表）和文本描述。这一观察激发了本研究的核心研究问题：多模态大语言模型能否进行时间序列异常检测？

为此，本研究旨在系统性探究MLLMs在TSAD中的零样本（Zero-shot）能力，并构建一个全面的基准测试以填补现有研究空白，最终基于研究发现构建一个实用的自动化检测框架。

三、 详细研究流程与方法

本研究遵循严谨的实证研究范式，其工作流程可概括为三个核心阶段：基准构建与问题定义、系统性评估实验、以及基于发现的框架设计与验证。

第一阶段：构建VisualTimeAnomaly基准 为了全面评估MLLMs在TSAD中的能力，研究团队首先构建了一个名为“VisualTimeAnomaly”的可配置基准测试。此阶段的核心工作包括： 1. 异常定义与分类：明确定义了三种不同粒度的异常类型，为后续评估奠定基础。 * 点异常：指在单个时间点上出现的意外值，进一步细分为全局异常（偏离整体均值）和上下文异常（偏离局部上下文均值）。 * 范围异常：指持续一段时间内的异常子序列，根据其特征分为季节性异常、趋势异常和形状异常。 * 变量异常：指在多变量时间序列中，整个单变量序列与其他序列显著不同。研究中定义了三角形波、方波、锯齿波和随机波四种类型的变量异常。 * 不规则异常：将上述异常类型置于不规则采样的时间序列（即存在数据点随机缺失的序列）中进行考察，定义了不规则比率（r）来衡量数据缺失程度。 2. 数据集生成：研究主要使用合成数据（正弦/余弦波）注入上述定义的各类异常，以进行可控实验。同时，也使用了来自UCR和UEA档案库的两个真实世界数据集进行案例研究，以验证在合成数据上发现的规律。每个异常类型生成100个时间序列图像，并添加不同噪声，所有实验重复3次。 3. 多模态输入构造：为了探究不同输入模态的影响，研究设计了三种时间序列表示方式供MLLMs处理： * 文本模态：将时间序列数值直接编码为文本序列。 * 图像模态：将时间序列数值转换为折线图图像（Time Series Image, TSI）。 * 文本+图像混合模态：同时提供文本和图像输入。

第二阶段：系统性评估实验与核心研究问题（RQ）探究 基于构建的基准，研究团队设计了一系列实验来回答三个核心研究问题（RQ）。实验对象包括代表性的MLLMs（如GPT-4o、Gemini-1.5-Pro、LLaVA-NeXT、Qwen2-VL）以及传统的TSAD方法（如IForest, OCSVM, OmniAnomaly等）作为基线。

• 流程1：探究多粒度异常检测能力（RQ1）

  • 研究对象：在合成和真实世界数据集上生成的包含点、范围、变量异常的时间序列图像及对应文本。
  • 处理方法：将不同模态的输入（文本、图像、混合）输入到各个MLLM和传统方法中，要求其检测并输出异常位置（点坐标、范围区间或变量ID）。
  • 实验与数据分析：使用精确率（Precision）、召回率（Recall）和F1分数（F1 Score）评估性能。通过对比MLLMs在不同粒度异常上的表现，以及与传统方法的交叉比较，分析其能力特点。

• 流程2：探究对不规则时间序列的鲁棒性（RQ2）

  • 研究对象：在规则时间序列的基础上，通过随机丢弃不同比例（0%至25%）的数据点，构造不规则时间序列，并注入点、范围、变量异常。
  • 处理方法：MLLMs直接处理不规则时间序列对应的图像（缺失点表现为折线图中的空白）；传统方法则需先对缺失值进行均值插补预处理后才能处理。
  • 实验与数据分析：评估不规则比率（r）对MLLMs和传统方法检测性能的影响。通过设计对照实验（仅用视觉Transformer模型ViTs处理图像、仅用MLLMs的文本模式处理带“NaN”标记的序列、MLLMs的视觉模式处理图像），探究MLLMs鲁棒性的来源。

• 流程3：探究不同输入模态的影响（RQ3）

  • 研究对象：同RQ1中的多粒度异常数据。
  • 处理方法：系统性地比较同一MLLM在文本、图像、混合三种输入模态下对点、范围、变量异常的检测性能差异。
  • 实验与数据分析：除了性能指标，还统计了不同模态下MLLMs产生“幻觉”（即生成无根据、错误答案）的频率，以分析模态对模型稳定性的影响。

第三阶段：设计并验证多智能体框架TSAD-Agents 基于前序实验的发现，研究团队提出并实现了一个名为“TSAD-Agents”的多智能体框架，旨在自动化地、自适应地完成TSAD任务。该框架的开发流程如下： 1. 框架设计：TSAD-Agents包含四个协同工作的智能体： * 扫描智能体：使用“链式扫描”技术，逐步推理输入时间序列是规则/不规则、异常类型是点/范围。 * 规划智能体：根据扫描结果制定定制化计划，决定后续使用何种工具（传统方法或MLLMs）以及何种输入模态。 * 检测智能体：根据规划调用工具集中的具体方法（如IForest或Gemini）执行异常检测，生成初步预测。 * 检查智能体：对初步预测进行自我反思和验证，通过绘制包含预测结果的新的时间序列图像，让MLLM判断预测是否过宽、过窄或错误，从而输出 refined prediction。 * 共享动态内存：存储各智能体产生的关键上下文信息（如异常类型），确保决策连贯性。 * 工具集：包含传统TSAD算法和MLLM检测器。 2. 框架验证： * 研究对象：包含点、范围、不规则点、不规则范围四类异常的时间序列。 * 处理方法：将TSAD-Agents与一系列基线方法（包括传统方法、简单提示MLLMs、以及最新的LLM-based方法如LLMAD, SigLLM, TAMA）进行对比。 * 实验与数据分析：使用精确率、召回率、F1分数全面评估TSAD-Agents的性能。此外，通过消融实验（依次移除链式扫描、扫描智能体、规划智能体、检查智能体）验证每个组件的必要性。

四、 主要研究结果

实验产生了多项重要且相互关联的发现，这些结果逻辑连贯，并直接导向了最终框架的构建。

1. 关于多粒度检测（RQ1）的结果：研究发现，MLLMs与传统TSAD方法在异常粒度上存在互补性。具体表现为：MLLMs在检测粗粒度异常（范围异常和变量异常）方面表现更优，而传统方法在检测细粒度异常（点异常）方面更有效。如图3和图4所示，在点异常检测上，所有MLLMs的F1分数最高仅为4.09%，远低于传统方法；而在范围异常和变量异常检测上，MLLMs的F1分数可分别达到50.33%和63.40%，显著优于传统方法。这归因于MLLMs在数值推理能力上的局限（例如可能错误判断9.11 > 9.9），导致其对微小的点变化不敏感，但对图像中呈现的整体模式（如趋势、形状变化）有更强的感知能力。

2. 关于不规则时间序列（RQ2）的结果：研究发现，MLLMs对时间序列的不规则性具有显著的鲁棒性。如图5所示，即使在不规则比率（r）高达25%的情况下，MLLMs对范围异常和变量异常的检测性能保持稳定。相比之下，传统方法严重依赖规整数据，在缺失数据情况下性能大幅下降（例如点异常F1分数下降47%）。进一步的对照实验（表2）揭示，这种鲁棒性源于可视化与LLM推理能力的协同作用。单独使用视觉模型（ViT）或仅使用MLLM的文本模式，都无法在保持高性能的同时应对不规则性。图像模态将缺失值自然地呈现为空白区域，避免了插补带来的数据扭曲，使MLLMs能够保留关键的结构特征。

3. 关于输入模态（RQ3）的结果：研究发现，输入模态从文本变为图像，会导致MLLMs的关注点从定量变化转向定性模式，并显著减少幻觉。如图7所示，对于点异常，文本模态表现更好（GPT-4o: 5.71 vs 2.61 F1），因为它使数值偏差更明确；而对于范围和变量异常，图像模态带来显著提升（GPT-4o: 11.95 -> 29.88 F1）。同时，表3显示，图像输入能极大降低MLLMs（尤其是较小模型）的幻觉发生率。例如，LLaVA-NeXT-72b在文本模态下产生98.3次幻觉，在图像模态下仅产生21.7次。这主要因为长文本序列给LLMs的上下文学习带来了挑战。

4. TSAD-Agents框架的验证结果：如表4所示，TSAD-Agents在点、范围、不规则点、不规则范围四类异常检测上，其F1分数均 consistently 超越了所有基线方法。这证明了该框架能够有效整合传统方法在点异常检测上的精确性和MLLMs在范围异常检测及不规则数据处理上的优势。消融实验（图9）进一步证实，框架中的链式扫描技术和每个智能体（扫描、规划、检查）都是提升整体性能的关键组件。例如，移除规划智能体（负责工具和模态选择）会导致性能显著下降，凸显了自适应规划的重要性。

五、 研究结论与价值

本研究的核心结论是：多模态大语言模型确实能够执行时间序列异常检测任务，但其能力与传统方法形成互补，且在应对不规则数据和不同输入模态时表现出独特性质。 基于这些发现构建的TSAD-Agents多智能体框架，首次实现了无需预先指定异常类型、能自适应选择工具和模态的自动化时间序列异常检测。

该研究的价值体现在多个层面： * 科学价值：首次系统、全面地评估了MLLMs在多种时间序列异常检测场景下的零样本能力，揭示了其在粒度敏感性、不规则鲁棒性和模态依赖性方面的内在规律，深化了对MLLMs用于时序分析的理解。 * 方法论价值：提出的VisualTimeAnomaly基准为未来多模态TSAD研究提供了一个高度可配置的测试平台。提出的TSAD-Agents框架为构建基于大模型的自主智能系统（Agentic AI）解决复杂时序分析任务提供了新颖的范式，展示了如何通过多智能体协作，将MLLMs的推理、规划、工具使用和自我反思能力应用于实际工程问题。 * 应用价值：研究指出，MLLMs对不规则数据的鲁棒性使其在医疗、物联网等数据质量常受干扰的领域具有巨大应用潜力。TSAD-Agents框架能够减少对数据预处理和人工先验知识的依赖，有望降低AI运维（AIOps）等场景中异常检测的实施门槛和成本。

六、 研究亮点

1. 全面且细致的基准测试：超越了以往研究将点异常与范围异常混为一谈的简化设定，首次在一个统一的基准下系统考察了点、范围、变量以及不规则情况下的多粒度异常检测，覆盖了更真实的场景。
2. 深刻的机制性洞察：不仅比较了性能，更深入探究了性能差异背后的原因（如数值推理局限、模态引起的注意力转移、幻觉减少的原因），以及MLLMs对抗不规则性的能力来源（可视化与推理的协同），这些发现具有普适的指导意义。
3. 从评估到创造的闭环研究：研究没有止步于评估和发现，而是基于实证发现，创造性地设计并验证了一个功能完整、性能优越的多智能体自动化框架（TSAD-Agents），实现了从“认知”到“实践”的跨越。
4. 引领范式转变的启示：研究指出，时间序列分析正从纯数值输入范式转向多模态表示范式。利用图像等模态可以凸显定性模式，并有效缓解纯文本输入带来的问题，这为未来时序分析研究指明了新的方向。

七、 其他有价值的内容

附录部分提供了关于处理高维时间序列的实用技巧。研究指出，当变量维度（M）很高时，直接将整个多变量序列绘制在一张图上会导致每个子图分辨率过低，影响MLLMs性能。作者提出了一种简单有效的分割技术：将高维时间序列图像分割成多个包含部分变量的子图像。实验证明，这种方法能显著提升在高维设置下的检测性能（例如，在M=100时使用分割技术，性能远优于在M=36时使用原始方法）。这一技术细节对于将本研究方法应用于真实世界的高维数据（如包含数十上百个指标的系统监控数据）具有重要的实践参考价值。