这篇文档属于类型a，即报告了一项原创性研究。以下是对该研究的学术报告：
一、主要作者及研究机构、发表期刊及时间
该研究由Jiehang Xie、Xuanbai Chen、Sicheng Zhao和Shao-Ping Lu共同完成。Jiehang Xie和Shao-Ping Lu来自中国天津的TKLNDST和南开大学计算机科学学院，Xuanbai Chen来自美国卡内基梅隆大学机器人研究所，Sicheng Zhao来自中国北京的BNRIST和清华大学。该研究于2024年发表在期刊《Knowledge-Based Systems》上，文章编号为111670。
二、学术背景
该研究属于计算机科学领域，具体涉及视频摘要（Video Summarization）任务。随着在线视频数量的激增，用户对快速浏览、管理和理解视频内容的需求日益增加，视频摘要技术因此变得尤为重要。视频摘要的目标是从原始视频中选择关键帧，生成紧凑且合理的视频摘要，以帮助用户快速浏览和检索视频内容。然而，现有的自动化视频摘要方法在同时且稳健地确定视频中哪些镜头重要方面存在困难，这影响了生成高质量摘要的能力。
受人类能力的启发，研究者提出了一种基于知识感知多模态网络（Knowledge-Aware Multimodal Network, KAMN）的视频摘要方法。该方法通过引入外部知识库，获取视频帧的描述性内容和情感信息，从而更好地理解视频内容。此外，研究者设计了一个融合模块，以更有效地整合视觉、音频和隐含知识特征，并进一步识别不同模态中的有价值信息。
三、研究流程
该研究包括以下几个主要步骤：
知识编码器（Knowledge Encoder）
知识编码器的目标是从输入视频中捕获隐含语义知识，模仿人类在观看视频时选择有意义实体的行为。具体来说，知识编码器通过预训练的目标检测方法和帧描述方法生成描述性知识，并从外部知识库中检索相关概念和情感信息。研究者使用了SenticNet和ConceptNet两个大规模知识库来获取情感和概念信息。最终，知识编码器通过BERT模型将描述性知识和关系知识编码为高级语义表示。
视觉编码器（Visual Encoder）
视觉编码器采用预训练的I3D模型，该模型在Kinetics动作分类数据集上进行训练。I3D模型通过时空卷积从RGB数据和光流中提取特征，以捕捉视频帧之间的长期依赖关系。最终，视觉编码器通过合并RGB和光流特征生成视觉表示。
音频编码器（Audio Encoder）
音频编码器基于VGGish模型，从输入音频中提取音频表示。首先，研究者将音频波形重新采样为16 kHz，然后通过傅里叶变换生成频谱图，并通过对数梅尔频谱图进一步提取音频特征。
多模态融合模块（Multimodal Fusion Module）
多模态融合模块旨在整合来自不同模态的互补信息。研究者设计了一个特殊的层来聚合每个模态的内部信息，并通过学习模态之间的权重来进一步聚合跨模态的特征。最终，融合模块通过神经网络计算每个模态的重要性分数，并生成最终的融合特征。
摘要预测器（Summary Predictor）
摘要预测器将融合特征映射到概率空间，生成视频摘要。研究者设计了两种变体：有监督的KAMN和无监督的KAMN。有监督的KAMN通过均方误差和L2正则化来最小化预测概率与标签之间的差异，而无监督的KAMN通过长度正则化和多样性损失来生成摘要。
四、主要结果
研究者在四个公开数据集（SumMe、TVSum、OVP和YouTube）上进行了实验，验证了所提出方法的有效性。具体结果如下：
有监督KAMN的表现
有监督KAMN在SumMe和TVSum数据集上均取得了显著的成功，在所有配置下均超越了基线方法。特别是在SumMe数据集上，有监督KAMN在标准配置下的F1分数达到了59.7%，比之前的最优方法提高了约4个百分点。
无监督KAMN的表现
无监督KAMN在TVSum数据集的标准和增强配置下取得了最佳结果，并在其他配置下表现出了竞争力。特别是在TVSum数据集上，无监督KAMN在标准配置下的F1分数达到了60.3%。
多模态融合模块的有效性
通过消融实验，研究者验证了多模态融合模块的有效性。实验结果表明，即使在没有音频编码器的情况下，融合模块仍然能够通过其他模态的特征实现竞争性的性能。
用户研究结果
用户研究结果表明，KAMN生成的视频摘要在大多数视频中均优于基线方法，且与人类生成的摘要最为接近。特别是在SumMe和TVSum数据集上，KAMN在多个视频中的评分均高于基线方法。
五、结论与意义
该研究提出了一种基于知识感知和多模态网络的视频摘要方法，通过引入隐含知识和多模态融合模块，显著提高了视频摘要的质量。研究的主要贡献包括： 1. 提出了一个新颖的知识编码器，能够自动生成视频的描述性和关系性知识。 2. 设计了一个多模态融合模块，能够有效整合来自不同模态的互补信息。 3. 通过实验验证了所提出方法在多个数据集上的优越性能。
该研究不仅具有重要的科学价值，还为视频摘要技术的实际应用提供了新的思路。特别是在缺乏标注数据的情况下，无监督KAMN仍然能够生成高质量的摘要，这为视频摘要技术的广泛应用提供了可能性。
六、研究亮点
1. 隐含知识的引入：通过引入外部知识库，研究者成功地将描述性知识和情感信息整合到视频摘要任务中，显著提高了摘要的质量。 2. 多模态融合模块的设计：研究者设计的多模态融合模块能够有效整合来自视觉、音频和隐含知识的信息，进一步提高了模型的性能。 3. 无监督学习的成功：无监督KAMN在缺乏标注数据的情况下仍然能够生成高质量的摘要，这为视频摘要技术的实际应用提供了新的可能性。
七、其他有价值的内容
研究者还进行了参数分析，验证了知识编码器中视觉实体数量的最佳值为5，并确定了无监督KAMN中长度正则化参数的最佳值为0.7。此外，研究者还通过可视化实验展示了KAMN生成的摘要与基线方法的对比，进一步验证了所提出方法的优越性。
该研究通过引入隐含知识和多模态融合模块，显著提高了视频摘要的质量，并为该领域的进一步研究提供了新的思路。