本文作者为Xiang Fang、Wanlong Fang、Wei Ji与Tat-Seng Chua，研究发表于MM ’25（2025年10月27日至31日，Dublin, Ireland），是一篇提出反应扩散多模态融合框架的原创性研究论文。

该研究属于多媒体分析与视频语言建模领域，主要解决语言引导的视频时刻检索与高亮检测问题。传统视频语言模型多依赖静态交叉注意力、特征拼接或提示微调来融合视频与文本表示，难以有效建模视频时序信息与文本语义之间动态、非线性的交互关系，导致在精细定位和高亮识别任务中出现误检、漏检以及对长时依赖建模不足的问题。作者受系统生物学中由Alan Turing提出的反应扩散系统启发，将视频语言对齐过程重新理解为一种模式形成过程，提出Reaction-Diffusion Multimodal Fusion（RDMF）框架，旨在通过模拟生物系统中的扩散与反应机制，提升视频与语言之间的动态融合能力，从而实现更准确的时刻检索与高亮检测。

在方法设计上，该研究首先使用预训练视频编码器Video Swin Transformer提取视频帧级特征，并使用BERT提取文本查询的句子级表示。视频特征随后被视作离散时间域上的信号，通过一个受热方程启发的时序扩散过程进行处理，利用离散拉普拉斯算子和可学习扩散系数对相邻帧特征进行平滑，从而增强视频特征的时序一致性并抑制高频噪声。文本特征则被投影到与视频特征相同的维度，并在时间维度上复制，以作为反应扩散融合模块中的抑制剂输入。融合模块的核心基于Gray-Scott反应扩散模型，将扩散后的视频特征视为激活子，将文本投影特征视为抑制子，通过Hadamard乘积、衰减项和增长项定义的非线性反应函数，实现视频与文本语义的动态交互。方程通过前向Euler格式在多个时间步上离散求解，使对齐文本语义的视频特征被放大，而不相关特征被抑制，从而形成自组织的显著模式。为了保证反应扩散系统的稳定性和收敛性，作者对平衡点进行了分析，并利用Turing不稳定性判据约束扩散系数，使系统能够形成有意义的局部模式。融合后的特征随后输入两个任务头：一个用于逐帧显著性预测，另一个采用DETR风格的检测头预测视频时刻的起始与结束位置，并通过预测IoU分数对候选片段进行排序和置信度校准。训练目标由显著性预测的二值交叉熵损失、时刻检索的平滑L1损失与分类交叉熵损失以及IoU预测损失共同组成。

实验部分在QVHighlights、Charades-STA和ActivityNet Captions三个数据集上验证RDMF的有效性。在QVHighlights数据集上，RDMF在时刻检索任务中取得70.5%的R@1@0.5、53.8%的R@1@0.7和65.7%的mIoU，在高亮检测任务中取得71.2%的AP和86.9%的Hit@1，均优于Moment-DETR、QD-DETR、CG-DETR和InternVideo等基线方法。在Charades-STA上，RDMF在R@1@0.5达到61.4%，R@1@0.7达到44.1%，mIoU为57.8%。在ActivityNet Captions上，RDMF同样在R@1@0.5和AP指标上优于对比方法。按查询类型的分析表明，动作类查询由于具有较强的动态时序特征，RDMF能够形成更清晰的时序模式，因而取得最高性能，而物体类和场景类查询由于静态或歧义性较高，性能略低。消融实验显示，去除时序扩散模块会导致R@1@0.5下降3.4%，AP下降2.7%；将反应扩散融合替换为标准交叉注意力会带来4.7%的R@1@0.5下降和4.3%的AP下降，说明非线性反应扩散机制对动态视频文本交互建模具有关键作用；去除IoU预测头使mIoU下降2.3%，表明该模块有助于细化定位边界。反应扩散步数在3步时达到峰值性能，过多步数反而带来收益递减。扩散系数的最佳配置为Du=0.2、Dv=0.1，时序扩散步数K=10时表现最佳，反应函数参数F=0.04、k=0.06时能够形成稳定模式。配对t检验显示RDMF相比基线方法的提升具有统计显著性。定性可视化进一步表明，RDMF能够在语义对应帧段形成尖锐且集中的高显著性区域，而对比方法Moe-Prompt则产生更多噪声和误检。

该研究的核心贡献在于首次将反应扩散系统引入视频语言建模，构建了一个跨系统生物学与多媒体研究的融合框架。与静态融合方式相比，RDMF通过时序扩散与非线性反应机制，能够自适应地形成与文本语义一致的显著时序模式，而不依赖预定义注意力结构。此外，作者利用Turing不稳定性和稳定性分析为反应扩散过程提供了数学基础，使该方法的收敛性和模式形成能力具有理论保障。在应用层面，RDMF不仅适用于视频时刻检索和高亮检测，还具有向音频视觉对齐、传感器文本融合等更广泛多模态任务推广的潜力。

论文的主要亮点包括：其一，跨学科创新显著，首次将Gray-Scott反应扩散模型与Turing模式形成理论用于视频语言融合；其二，方法设计具有动态性，通过扩散过程和反应过程分别建模视频时序传播与跨模态非线性交互，突破了传统静态注意力机制的局限；其三，实验验证充分，在多个公开数据集上均取得优于现有方法的性能，并通过消融实验和统计检验证明了各组件的有效性；其四，理论和实践结合紧密，不仅给出稳定性与收敛性分析，还使用标准预训练编码器和检测头实现，具有良好的可部署性。未来工作可以聚焦于优化反应扩散模块的计算效率，以便在资源受限环境中实现实时部署，同时也可以将RDMF扩展到视频问答、多模态生成等任务，进一步验证其通用性。