关于“FLOC：基于设施选址的长视频理解高效视觉令牌压缩”的学术研究报告
一、 主要作者、机构与发表信息
本研究报告的文献为发表于ICLR 2026的会议论文，标题为“FLOC: Facility Location-based Efficient Visual Token Compression for Long Video Understanding”。主要作者包括Janghoon Cho、Jungsoo Lee、Munawar Hayat、Kyuwoong Hwang、Fatih Porikli（均来自Qualcomm AI Research）以及Sungho Choi（来自Kyung Hee University）。Qualcomm AI Research是高通技术公司的一项倡议。
二、 研究的学术背景
主要科学领域： 本研究属于人工智能（AI）领域，具体涉及计算机视觉（Computer Vision）、多模态大模型（Large Multimodal Models, LMMs）以及视频理解（Video Understanding）的交叉方向。
研究动机与背景知识： 随着大型语言模型（LLMs）在自然语言处理领域的成功，其能力被扩展至视觉领域，催生了大型多模态模型（LMMs）。这些模型通过将视觉嵌入（称为视觉令牌或视觉Token）作为输入，在视觉问答等任务上展现了卓越性能。近年来，研究焦点转向使这些模型能够理解长视频序列，从而诞生了视频-大型多模态模型（Video-LMMs）。然而，处理长视频面临一个根本性挑战：随着视频序列长度的增加，视觉令牌的数量呈爆炸式增长。由于大多数基于LLM架构的模型仅支持4K至32K令牌的输入上下文长度，处理高分辨率或长时间视频（如4K内容、连续数天的监控录像）在计算上变得不可行。这限制了视频-LMMs在现实场景（如CCTV监控、智能眼镜、移动机器人）中的应用。
因此，视觉令牌压缩成为长视频理解不可或缺的一环。现有的压缩方法主要分为几类：1) 采样/池化：如均匀采样帧或在时空维度上进行池化，计算简单但可能忽略语义重要性，丢弃关键信息。2) 聚类：如K-means、谱聚类，通过选择聚类中心来保留代表性信息，但可能无法捕捉稀疏但重要的视觉线索（如场景中罕见的小物体），且计算成本高。3) 查询感知压缩：根据特定查询选择相关令牌，灵活性差，需要为每个查询重新压缩。4) 可训练压缩算法：使用神经网络学习压缩策略，性能好但需要大量标注数据和训练，且模型依赖性高。
研究目标： 本研究旨在提出一种高效、训练无关、模型无关且查询无关的视觉令牌压缩框架，以解决长视频理解中视觉令牌数量过多的问题。该框架需要能够在给定的令牌预算内，快速选择一个紧凑但同时具有高度代表性和多样性的视觉令牌子集，从而在显著减少计算负担的同时，最小化信息损失，保证下游视频理解任务的性能。
三、 研究详细工作流程
本研究提出了一种名为 FLOC 的新框架，其核心是基于设施选址函数（Facility Location Function）和惰性贪婪算法（Lazy Greedy Algorithm）的视觉令牌选择方法。整个工作流程可以概括为以下几个关键步骤：
1. 问题定义与框架概述： * 输入： 给定一个输入视频，通过视觉编码器（如Vision Transformer）提取得到一组视觉令牌的基础集 ( V = {v_1, v_2, …, v_n} )，其中每个 ( v_i ) 是一个特征向量，代表一个特定的时空片段（如一帧中的一个图像块）。 * 目标： 在给定的令牌预算 ( K ) 下，选择一个子集 ( S \subseteq V )（( |S| \leq K )），以最大化一个效用函数 ( f(S) )。该函数 ( f(S) ) 需要量化子集 ( S ) 对原始全集 ( V ) 的覆盖或代表程度，同时鼓励多样性。 * 整体流程（如图2所示）： 输入视频首先被分割成较小的时间块（Temporal Blocks，长度 ( T )），以提升计算效率并便于未来扩展到流式处理场景。在每个时间块内，FLOC算法独立运行，从该块的视觉令牌中选择一个代表性子集。最后，所有时间块选出的令牌与用户提供的文本提示（Text Prompt）拼接，共同作为视频-LMM的输入，用于生成回答或执行其他下游任务。
2. 核心算法：基于设施选址函数的子模优化 * 效用函数设计： 研究采用设施选址函数作为 ( f(S) )。其数学定义为： [ f(S) = \sum{v \in V} \max{u \in S} \text{sim}(v, u) ] 其中，( \text{sim}(v, u) ) 表示令牌 ( v ) 和 ( u ) 之间的相似度，本研究使用余弦相似度（Cosine Similarity）计算：( \text{sim}(v, u) = \frac{v^\top u}{|v| |u|} )。 * 函数解释： 该函数计算的是，对于基础集 ( V ) 中的每一个令牌 ( v )，找到其在已选子集 ( S ) 中与之最相似的令牌 ( u )，然后将所有 ( v ) 与其对应最相似 ( u ) 的相似度求和。最大化这个函数意味着选择的子集 ( S ) 能够尽可能地“覆盖”或“代表”全集 ( V ) 中的所有令牌。如果一个令牌与 ( S ) 中的任何成员都不相似，它将对总和贡献较低，这激励算法选择那些能覆盖更多“偏远”或不同区域的令牌，从而同时保证了代表性和多样性。 * 优化挑战： 找到使 ( f(S) ) 最大化的最优子集 ( S^* ) 是一个NP难问题。
3. 高效求解：惰性贪婪算法 * 算法选择： 为了高效地获得一个近似最优解，研究采用了经典的贪婪算法，该算法能保证达到 ( (1 - 1/e) \approx 0.632 ) 的最优解下限。贪婪算法迭代地选择能带来最大边际增益（Marginal Gain）的令牌加入子集 ( S )，直到达到预算 ( K )。边际增益定义为 ( f(S \cup {v}) - f(S) )。 * 效率提升——惰性评估： 标准的贪婪算法每轮需要为所有候选令牌重新计算边际增益，时间复杂度为 ( O(nK) )。本研究利用设施选址函数的子模性（Submodularity，即边际收益递减性质），实现了惰性贪婪算法（Minoux, 1978）。该算法维护一个基于边际增益上界的优先队列。 1. 初始化时，为每个令牌计算其单独时的效用 ( f({v}) ) 作为其上界，并入队。 2. 每轮迭代，从队列中弹出上界最高的候选令牌 ( v^* )。 3. 重新精确计算其相对于当前子集 ( S ) 的真实边际增益 ( \delta )。 4. 如果 ( \delta ) 仍然大于或等于队列中其他所有令牌的上界，则子模性保证了 ( v^* ) 就是本轮最优选择，将其加入 ( S )。 5. 否则，将 ( v^* ) 的上界更新为 ( \delta ) 并重新插入队列。 * 优势： 惰性贪婪算法避免了大量不必要的边际增益重计算，在实际中通常能带来数量级的加速，使其特别适合处理大规模视觉令牌集，满足实时或设备端处理的需求。算法1和图3详细展示了这一过程。
4. 实验设计与评估流程 * 研究模型： 为了验证方法的通用性，研究在多个先进的视频-LMM上进行了测试，包括 Qwen2.5-VL (7B和32B参数)、InternVL3 (8B参数)，以及附录中提到的Qwen2-VL和LLaVA-NeXT-Video模型。 * 评估基准： 使用了四个大规模长视频理解基准数据集进行综合评估： 1. Video-MME：涵盖体育、新闻等多领域真实视频，评估视频描述、事件检测、问答等任务。 2. LongVideoBench：专注于长视频（如讲座、直播），强调主题分割和全局摘要。 3. MLVU：评估从帧级识别到故事线理解的多层次视频理解能力。 4. EgoSchema：评估以第一人称视角短视频为中心的模式推理和活动预测。 * 对比基线： 研究对比了多种最新的视觉令牌压缩方法，包括LongVU、DyCoKe、TS-LLaVA、PruneVid、DivPrune、STTM、LLaVA Scissor、FastVid等，以及传统的聚类方法（K-means, K-medoids, Spectral Clustering）和随机采样。 * 实验设置： 使用LMMs-Eval工具包。为了模拟资源受限的部署场景（如设备端LMMs），实验将视觉令牌压缩到原始数量的 ( 2^{-3} )、( 2^{-4} )、( 2^{-5} )（即1/8, 1⁄16, 1/32）。评估指标主要是在各基准数据集上的平均准确率。同时，还测量了各算法的压缩时间以分析效率。此外，进行了一项扩展实验，将模型默认支持的768帧扩展到7200帧，并将提取的所有令牌压缩到模型最优令牌长度（24,576），以测试FLOC在充分利用模型上下文长度方面的潜力。
四、 主要研究结果
1. 性能比较结果： * 如表1所示，在不同压缩比率（( 2^{-3} ), ( 2^{-4} ), ( 2^{-5} )）、不同骨干模型（Qwen2.5-VL-7B, InternVL3-8B）和不同基准数据集上，FLOC方法在平均准确率上 consistently outperforms 所有其他对比的压缩方法。 * 例如，在Qwen2.5-VL-7B模型上，压缩比为 ( 2^{-3} ) 时，FLOC在四个数据集上的平均得分为62.57，显著高于其他方法（如DyCoKe的61.09，DivPrune的60.94，随机采样的60.22）。在更极端的压缩比 ( 2^{-5} ) 下，FLOC仍保持领先（57.45），显示了其鲁棒性。 * 扩展帧数实验： 如表2所示，当将处理帧数从768大幅提升至7200，并压缩至固定令牌数时，FLOC能进一步提升模型性能。对于Qwen2.5-VL-7B模型，平均准确率提升了1.21个百分点；对于Qwen2.5-VL-32B模型，提升了2.44个百分点。这证明FLOC通过高效压缩，使LMMs能够处理更多帧的信息，从而增强了其长视频理解能力。
2. 效率分析结果： * 如图1和表3所示，FLOC在压缩时间上具有巨大优势。虽然K-means和谱聚类等聚类方法有时能达到与FLOC相近的性能，但其压缩时间高出约一个数量级（10倍）。例如，当块长度 ( T=32 )，压缩比为 ( 2^{-3} ) 时，FLOC仅需0.527秒，而K-means需要218秒，谱聚类需要21.1秒。 * 表3详细比较了不同块长度 ( T ) 下的计算时间，表明FLOC的时间复杂度较低（约 ( O(nK) )），且随着 ( T ) 增大，其与聚类方法的效率差距进一步拉大，凸显了其可扩展性和实用性，尤其适合实时或资源受限的应用。
3. 代表性 & 多样性验证： * t-SNE可视化（图4）： 通过将视觉令牌嵌入降维可视化，可以直观看到FLOC选择的令牌（红色星号）在特征空间中分布更均匀，既覆盖了密集的主要聚类区域，也涵盖了稀疏的次要聚类区域。相比之下，K-means和K-medoids主要从密集区域选择代表点，而DivPrune等方法则可能过于关注多样性而忽略了代表性区域。 * 定量指标（附录图7）： 研究使用“平均总和覆盖率”（衡量代表性）和“平均距离”（衡量多样性）两个归一化指标进行评估。散点图显示，FLOC算法对应的点主要分布在第一象限，表明其在代表性和多样性上取得了最佳平衡，优于其他所有对比算法。 * 案例研究（图5）： 在一个具体例子中，用户提问“夏日夕阳下这位女士穿着什么？”，正确答案是“帽子和太阳镜”。FLOC成功选择了包含帽子和太阳镜的稀疏但关键的视觉令牌，从而给出了正确答案。而DivPrune和TS-LLaVA等方法则错过了这些细节，错误预测为“连衣裙和高跟鞋”。这证实了FLOC在保留对问答至关重要的细粒度、稀疏视觉线索方面的优势。
4. 超参数鲁棒性分析： * 如图6所示，研究分析了唯一超参数块长度 ( T ) 的影响。当 ( T ) 过小（≤4）时，性能下降，因为狭窄的时间窗口无法捕捉跨块的冗余信息。随着 ( T ) 增大，算法能在更广的时序上下文中优化，性能趋于饱和。重要的是，由于惰性贪婪算法的高效性，增大 ( T ) 带来的额外延迟开销可以忽略不计。因此，研究建议使用一个足够大的固定 ( T )（如32）作为稳健且高效的默认值。
5. 细粒度任务分析（附录表6）： * 在MLVU数据集的细分任务上，FLOC在“针状问答” 和“自我中心推理” 任务上表现尤为突出。这两类任务都涉及对视频中短暂出现、稀疏但关键的细节（如插入的无关短片段的內容，或第一人称视角中一闪而过的物体）进行推理。FLOC在高压縮比下仍能在此类任务上保持最佳性能，进一步证明了其平衡选择策略在保留关键稀疏信息方面的有效性。
五、 研究结论与价值
本研究成功提出并验证了 FLOC，一个基于设施选址函数和惰性贪婪算法的高效视觉令牌压缩框架。其主要结论和价值如下：
科学价值：
应用价值：
六、 研究亮点
七、 其他有价值内容
研究在附录中提供了更全面的实验结果（包括在LLaVA-NeXT-Video等更多模型上的数据），以及关于代表性和多样性定量指标的详细分析（附录A，图7），进一步支撑了主文的结论。同时，研究也指出了当前方法的局限性，即依赖于固定的均匀时间分块策略，并展望未来可通过基于视频时序动态的自适应分块机制来获得进一步的性能提升。