本文介绍了一项关于复杂视频理解与推理的研究，提出了一个名为“视频思维链”（Video-of-Thought, VOT）的创新框架，旨在解决现有视频理解模型在复杂视频场景中的深度推理能力不足的问题。该研究由来自新加坡国立大学、南洋理工大学和哈尔滨工业大学（深圳）的研究团队共同完成，并于2024年发表在《第41届国际机器学习会议》（ICML 2024）上。

研究背景与动机

视频理解是计算机视觉领域的一个重要研究方向，现有的研究主要集中在视频动作识别和动态分析上，但这些方法大多停留在浅层次的感知理解上，难以应对复杂视频的深度推理需求。复杂视频的理解不仅需要对视频的时空特性有精细的把握，还需要结合常识知识进行深层次的语义推理。例如，理解视频中某个物体的行为及其与环境的交互，并推断出可能的结果。现有的视频理解模型往往缺乏这种从感知到认知的多层次推理能力。

为了解决这一问题，研究团队提出了VOT框架，该框架借鉴了人类认知的模式，将复杂的视频推理任务分解为一系列更简单的子问题，并逐步从低层次的像素感知到高层次的认知解释进行推理。VOT框架的核心是基于一种新型的多模态大语言模型（Multimodal Large Language Model, MLLM）——MotionEpic，该模型通过整合视频的时空场景图（Spatial-Temporal Scene Graph, STSG）表示，实现了像素级的时空视频定位。

研究方法与流程

研究的主要流程包括以下几个步骤：

1. MotionEpic模型的构建：MotionEpic是一个支持视频输入的多模态大语言模型，能够对视频的时空场景图进行编码、理解和生成。该模型通过整合STSG表示，实现了对视频内容的精细时空定位。研究团队设计了多种训练目标，包括粗粒度和细粒度的视频-STSG对应关系，以确保模型能够在没有外部STSG标注的情况下进行推理。

2. VOT推理框架的设计：VOT框架继承了“思维链”（Chain-of-Thought, CoT）的核心思想，将复杂的视频推理任务分解为多个子问题，并逐步解决。具体步骤包括：

   • 任务定义与目标识别：首先识别视频中需要分析的目标对象。
   • 对象跟踪：通过STSG对目标对象的时空轨迹进行跟踪。
   • 行为分析：结合常识知识，分析目标对象的行为及其与环境的交互。
   • 问题回答与排序：通过多步推理，结合常识知识对候选答案进行评分和排序。
   • 答案验证：从感知和认知两个角度对最终答案进行验证，确保其准确性。

3. 实验与评估：研究团队在多个复杂的视频问答（Video QA）基准数据集上进行了实验，结果表明VOT框架显著提升了现有模型的性能，并在多个任务上达到了新的最优水平。特别是在零样本（zero-shot）设置下，VOT框架表现出了更强的推理能力。

主要结果与贡献

研究的主要贡献包括： 1. 提出了首个视频思维链推理框架VOT：该框架通过将复杂问题分解为多个子问题，逐步从低层次的像素感知到高层次的认知解释进行推理，实现了对视频的深度理解。 2. 开发了新型视频多模态大语言模型MotionEpic：该模型通过整合STSG表示，实现了像素级的时空视频定位，支持对视频内容的精细理解。 3. 在多个复杂视频问答基准上取得了新的最优性能：实验结果表明，VOT框架在多个任务上显著提升了现有模型的性能，特别是在需要复杂推理能力的任务上表现尤为突出。

研究的意义与价值

该研究在视频理解领域具有重要的科学价值和应用前景。首先，VOT框架为复杂视频的深度推理提供了一种新的解决方案，能够显著提升视频理解模型的性能。其次，MotionEpic模型的提出为视频多模态大语言模型的发展提供了新的思路，特别是在时空场景图的整合与应用方面。此外，该研究的成果有望在自动驾驶、视频监控、智能助手等领域得到广泛应用，推动视频理解技术的进一步发展。

研究亮点

1. 创新性：VOT框架首次将思维链技术应用于视频推理任务，实现了从感知到认知的多层次推理。
2. 高性能：在多个复杂视频问答基准上，VOT框架显著提升了现有模型的性能，达到了新的最优水平。
3. 广泛的应用前景：该研究的成果有望在多个实际应用场景中得到应用，推动视频理解技术的进一步发展。

总结

本文提出的VOT框架和MotionEpic模型为复杂视频的深度推理提供了一种创新的解决方案，显著提升了现有视频理解模型的性能。该研究不仅在科学上具有重要价值，还为视频理解技术的实际应用提供了新的可能性。