本文由Mingwei Zhu、Leigang Sha、Yu Shu、Kangjia Zhao、Tiancheng Zhao（通讯作者）和Jianwei Yin共同完成，分别来自浙江大学和浙江大学滨江研究院。该研究目前以预印本形式发布，尚未正式发表在期刊上。
多模态大语言模型（Multimodal Large Language Models, MLLMs）在感知和解释任务中展现了巨大的潜力，但其在预测推理能力方面的表现尚未得到充分探索。现有的MLLMs主要基于单张图像-文本对进行训练，而在许多实际应用中（如自动驾驶、机器人控制等），模型需要基于一系列视觉输入进行推理，并预测未来的事件或动作。因此，本文提出了一种新的基准测试框架，旨在评估MLLMs在多种场景下的预测推理能力。
本文的主要目标是： 1. 提出三个具有挑战性的任务，测试MLLMs的预测推理能力，并开发高质量的数据集用于模型评估。 2. 提出三种基于大语言模型的评估方法，量化MLLMs的预测推理能力。 3. 通过实验验证所提出的评估方法的有效性，并揭示当前流行MLLMs的优缺点。 4. 为未来的MLLMs开发提供方向性建议。
本文提出了三个任务，分别针对抽象模式推理、人类活动预测和物理交互预测。每个任务都包含多个数据集，并通过大语言模型驱动的评估方法对模型的表现进行量化。
定义：该任务要求模型从一系列图像中提取模式，并预测下一张图像的内容。例如，给定四张图像，每张图像中的苹果数量依次增加，模型需要预测第五张图像中苹果的数量。
挑战：模型需要从视觉上下文中准确提取模式，并整合多张图像中的信息。数据基于图标构建，这对MLLMs提出了额外的挑战。
数据构建：通过手动创建100个高质量的模式推理数据条目，并通过自动化脚本生成了1000个数据条目。每个数据条目包含3-5张图像。
定义：该任务要求模型基于一系列人类活动的图像，预测接下来的动作或活动。
挑战：模型需要结合环境和社会背景进行推理，并理解人类行为的复杂性和多样性。
数据构建：使用了ActivityNet Captions和Charades两个数据集，分别用于日常活动和特定室内行为的预测。
定义：该任务要求模型理解并预测物理交互和运动轨迹，使用了CLEVRER和Roboset（Teleoperation）两个数据集。
挑战：模型需要识别物体的属性，并具备3D空间意识，从稀疏的视觉线索中推断潜在变量（如速度和加速度）。
数据构建：通过手动分解动作并生成逻辑一致的子任务组合，构建了测试集和训练集。
本文提出了三种评估方法： 1. 单答案评估器（Single Gold Answer Evaluator, SGAE）：用于评估模型在抽象模式推理任务中的表现，主要基于逻辑一致性、准确性和特异性。 2. 概率预测评估器（Probabilistic Prediction Evaluator, PPE）：用于评估模型在人类活动预测任务中的表现，主要基于合理性、多样性和特异性。 3. 多答案评估器（Multiple Gold Answer Evaluator, MGAE）：用于评估模型在物理交互预测任务中的表现，结合了SGAE和PPE的特点。
本文对六种流行的MLLMs（如LLaVA、MiniGPT-4、mPLUG-Owl等）进行了全面评估，结果显示： 1. LLaVA模型在所有任务中表现最佳，尤其是在人类活动预测任务中表现出色。 2. 抽象模式推理任务中，所有模型表现较差，表明当前MLLMs在处理多图像场景时存在局限性。 3. 物理交互预测任务中，模型表现普遍不佳，尤其是在CLEVRER数据集上，模型难以准确预测物体的运动轨迹。
本文提出了一个新的基准测试框架，用于评估MLLMs在序列视觉输入推理与预测中的能力。通过实验验证，本文的评估方法能够有效量化模型的预测推理能力，并揭示了当前MLLMs的优缺点。本文的研究为未来的MLLMs开发提供了重要的参考，尤其是在多图像推理和预测任务中。
本文还探讨了模型生成温度对实验结果的影响，并通过消融实验验证了评估方法的有效性。此外，本文还提供了详细的代码和数据，供其他研究者参考和使用。
通过本文的研究，我们不仅为MLLMs的评估提供了新的工具和方法，还为未来的多模态模型开发指明了方向。