本文属于类型a，即单一原创研究报告。以下是对该研究的学术报告。

研究作者与发表信息

本研究由来自Spotify的三位研究者完成，分别是Marco de Nadai（任职于丹麦哥本哈根）、Andreas Damianou（任职于英国剑桥）以及Mounia Lalmas（任职于英国伦敦）。该论文题为《Describe What You See with Multimodal Large Language Models to Enhance Video Recommendations》，发表于第十九届ACM推荐系统会议（RecSys ‘25），会议于2025年9月22日至26日在捷克布拉格举行。论文的DOI为https://doi.org/10.¹¹⁴⁵⁄_3705328.3759303。

研究背景与目的

本研究属于推荐系统（recommender systems）与多模态大语言模型（multimodal large language models, MLLMs）的交叉领域。随着TikTok、Instagram Reels和YouTube Shorts等短视频平台的迅速崛起，视频推荐系统的重要性日益凸显。传统的视频推荐系统主要依赖用户定义的元数据（metadata）或由专用编码器提取的低级视觉与声学信号。这些低层特征虽然能够描述屏幕上出现的内容，例如动作、颜色或关键词，但无法捕捉更深层次的语义，如意向（intent）、幽默、文化引用和世界知识（world knowledge），而这些恰恰是视频能够引起观众共鸣的关键因素。

例如，一个30秒的视频，传统方法只能识别出“一个人在屋顶上唱歌”，却无法理解它其实是一个拍摄于土耳其卡帕多奇亚“精灵烟囱”地貌的讽刺性模仿作品。这种语义理解的缺失限制了推荐系统捕捉用户偏好的能力。因此，本研究旨在利用现成的开源多模态大语言模型，通过零微调（zero-finetuning）的方式，将视频内容转化为富含语义的自然语言描述，从而弥合原始视频内容与用户意图之间的鸿沟，提升视频推荐系统的性能。

研究的详细工作流程

本研究的核心框架是将多模态大语言模型生成的文本描述注入到标准推荐系统管道中。整个工作流程包括以下几个主要环节。

第一，数据集的选择与预处理。研究使用了公开可用的MicroLens-100k数据集。该数据集来源于一个真实的移动视频平台，该平台拥有约3400万用户。MicroLens-100k包含100,000名用户、19,738个视频条目以及719,405条交互记录，稀疏度高达99.96%。数据集中包含完整的原始视频文件以及相关的元数据。在预处理阶段，研究者遵循Ni等人（2023）的做法，仅保留至少有过两次交互的用户，并将每个用户的交互历史截断为最近十次。此外，为了计算效率，视频被限制在最长4分钟，并降采样至426×224像素的分辨率。

第二，多模态特征的提取与生成。研究者比较了多种模态的特征表示方式。元数据模态使用BGE-large文本编码器对视频标题进行编码，该模型是一个基于BERT的3.35亿参数文本编码器。音频模态使用CLAP模型，这是一个1.94亿参数的模型，在多种（音频，文本）对上训练，能够处理音乐和语音。视频模态使用VideoMAE模型，这是一个3.07亿参数的模型，每个视频仅处理16帧，帧从视频的前30秒中提取，以捕捉时间动态。研究发现，对多个VideoMAE嵌入取平均值会降低性能。

本研究的关键创新在于使用MLLM生成基于音频和视频内容的描述。研究者选用Qwen-VL这一开源多模态大语言模型，该模型在14亿图像-文本对和视频上进行了预训练，能够生成具有知识基础的描述性文字，例如“一对情侣在巴黎日落时分的屋顶上跳舞”。为了弥补Qwen-VL无法直接处理音频的不足，研究者设计了一个两阶段方法：第一阶段使用Whisper模型进行音频转录，提取语音和声音纹理；第二阶段将转录文本和声音分类（如“戏剧性音乐”）输入Qwen-Audio模型，生成具有意图感知的描述，例如“带有轻松基调的欢快配乐”。这种模块化设计实现了音频和视频的解耦分析。视频描述生成使用Qwen-VL，音频描述生成使用Whisper与Qwen-Audio的组合。该框架采用零样本提示（zero-shot prompting）方式，无需对MLLM进行任何微调。

第三，推荐模型的选择与训练。为了证明框架的模型无关性，研究者评估了两种在学术界和工业界广泛使用的模型：双塔模型（two-towers model）和生成式模型SASRec。双塔模型最初由YouTube提出，用户嵌入被计算为用户观看过的视频嵌入的平均值。SASRec的用户编码器是一个仅解码器的Transformer，其输出经过一个残差MLP后计算损失，该设计遵循了PinnerFormer的架构。物品编码器使用一个单层残差MLP将嵌入特征进行投影。研究者使用了与Ni等人（2023）相同的超参数，并且没有进行任何超参数调优。研究没有考虑微调视觉模型的方案，因为其计算成本过高。

第四，评估方法。研究采用命中率（HitRate, HR）和归一化折损累计增益（Normalized Discounted Cumulative Gain, NDCG）作为评估指标，k值设置为10和30。评估采用全局时间划分（global time-based split）策略，使用1天滚动窗口来模拟生产环境。在最后七天中，每天进行评估。在第k天，模型使用截至第k-2天的数据进行训练，使用第k-1天的数据进行验证以确定最佳训练轮数（早停耐心值为5），然后使用截至第k-1天的数据重新训练模型，并在第k天进行评估。性能比较基于配对t检验（paired t-test）。

研究的主要结果

实验结果一致表明，使用现成的MLLM对每个视频片段进行摘要并生成自然语言描述，能够显著提升推荐性能。在MicroLens-100k数据集上，将原始背景音频特征替换为MLLM生成的文本描述，使双塔模型的HR@10从0.0253提升至0.0405，NDCG@10从0.0130提升至0.0214，相对提升约60%。SASRec同样表现出强劲的提升，相对增益达35%。将音频波形转换为文本能够恢复主题、情绪和世界知识等信息，这些信息在传统的基于频谱图的表示中通常会丢失。

同样，添加场景级别的字幕描述使双塔模型的HR@10从0.0393提升至0.0489（+24%），并使SASRec提升至0.0482，超过基于原始帧和创作者撰写标题的方法4%至18%。研究者指出，像素展示了屏幕上发生的事情，标题反映了上传者希望吸引点击的内容，而MLLM生成的文本则捕捉了观众可能关心的原因：传达语气、讽刺和文化线索。由于MLLM生成的描述将长达一分钟的序列压缩为单一的连贯摘要，它们还帮助克服了传统视觉特征在长时程方面的局限性。

在扩展性实验方面，研究者测试了两种策略：将文本编码器替换为更大的Qwen Embeddings 0.6B模型，以及将MLLM骨干网络替换为更大的Qwen-VL 7B模型。尽管定性检查显示Qwen-VL 7B生成了更丰富的字幕和更扎实的世界知识，但这些升级并未带来可测量的性能提升。这表明，对于该数据集而言，基线MLLM已经能够捕获最相关的信息，一旦获得连贯的视频级描述，单纯增加模型规模带来的回报是递减的。

结论与研究价值

本研究提出了一个零微调、即插即用的框架，该框架使用现成的多模态大语言模型将原始音视频输入转换为丰富的文本描述。这些特征可以无缝集成到标准的协同过滤、基于内容的推荐以及生成式推荐系统中。在无需任何额外训练的情况下，该框架在MicroLens-100k数据集上取得了高达60%的相对性能提升。随着Qwen Omni和VITA等新兴的全模态MLLM（omni-MLLMs）在联合建模视觉、音频和文本方面不断进步，本研究提供了一条低门槛的路径，使研究原型和生产系统能够通过识别屏幕上的内容以及理解内容为何能与个体观众产生共鸣来改进推荐质量。

本研究的科学价值在于首次系统性地证明了开源权重的多模态大语言模型可以作为一种轻量级的“知识提取器”，在不进行端到端微调的情况下显著提升视频推荐系统对高层语义的理解能力。其应用价值在于该方法具有模型无关性和低计算成本，工业界和学术界均可方便地采用，为构建更具意图感知能力的视频推荐系统提供了一条可复现、可扩展的路径。

研究亮点

本研究的亮点主要体现在三个方面。第一，方法创新：采用零微调提示策略，无需对大规模MLLM进行昂贵的端到端适配，显著降低了计算门槛。第二，实验严谨性：在公开数据集的多个代表性推荐架构上进行了系统比较，覆盖了双塔模型和生成式推荐模型，并采用全局时间划分的滚动窗口评估，更接近真实生产环境。第三，可复现性：研究者公开了提示词和生成的数据，为后续研究提供了可重复的实验基础。此外，研究还发现MLLM生成的描述对于超过30秒的视频提升更为显著，这为处理长视频场景提供了有价值的参考。