本文介绍了 Shihang Zhang、Mingjin Kuai、Ye Wei、Zhen Zhang 和 Wei Ji 等作者及其所在机构（四川大学、南京大学）共同完成的一项原创研究。该研究题为“GIRL-DETR: Gradient-Isolated Reinforcement Learning for Video Moment Retrieval”，发表于 *IEEE Transactions on Image Processing*。研究的核心是解决视频时刻检索（Video Moment Retrieval，VMR）中连续代理损失与非可微评价指标不一致所导致的优化瓶颈问题，提出了一种名为 GIRL-DETR 的检测 Transformer（Detection Transformer，DETR）框架，首次在轻量化 VMR 模型中引入强化学习（Reinforcement Learning，RL）后训练策略。

研究的学术背景源于 VMR 任务对时间边界精度的严格要求。现有轻量模型大多依赖代理损失进行监督训练，但代理损失与最终评价指标时间交并比（temporal Intersection-over-Union，tIoU）之间存在固有偏差。这种损失—指标失配在训练后期会造成优化停滞和排序坍缩，使模型无法准确校准边界和置信度。虽然多模态大模型已开始利用 RL 直接优化 tIoU，但若将该方法直接迁移至轻量网络，高方差策略梯度会破坏监督阶段建立的多模态特征分布。为此，作者提出在监督训练收敛后冻结骨干网络，仅让检测头（detection head）接受 RL 优化，以实现状态表示与度量优化的正交解耦。

GIRL-DETR 的完整工作流程由四个顺序阶段构成。第一阶段是多模态特征编码。输入视频被均匀采样为多个片段，并分别由 CLIP、BLIP 和 InternVideo2 的视觉编码器提取特征，拼接后经线性投影得到统一的视频嵌入；文本查询则由两个预训练文本编码器提取特征并以同样维度投影。随后，在进入 Transformer 编码器之前，引入跨模态交互模块（Cross-Modal Interaction，CMI）。该模块通过注意力池化获得全局句向量，计算每个视频片段与句向量的余弦相似度，并将其与可学习方向向量结合生成相关性特征；同时利用视频特征对文本做交叉注意力，聚合词级语义。三种信号与原始片段特征拼接后经共享线性投影融合，得到文本感知的视频片段嵌入。编码器输出的文本表示经最大池化形成全局摘要，视频记忆矩阵则用于后续解码。

第二阶段是语义门控查询解码。传统 DETR 解码器的初始查询与任务无关，作者提出文本引导门控机制（Text-Guided Gating，TGG）。该机制首先在初始查询与全局文本摘要之间执行交叉注意力，再对残差和施加自注意力，以融合全局文本先验。随后，通过初始查询与文本上下文的逐元素交互计算动态门控权重，并利用残差门控注入和层归一化更新查询。这样，解码器在生成候选片段之前就获得了高信噪比的语义先验，有助于后续时间预测。解码器利用更新后的查询从视频记忆中检索时间特征，输出隐藏状态集合，并送入检测头预测时间跨度、分类 logit 和定位质量分数。

第三阶段是监督预热与梯度隔离。检测头包含三个并行子头：跨度头、分类头和质量头。监督训练阶段使用二分匹配在预测与真值片段之间建立一一对应关系，损失函数由 ℓ1 回归损失、广义 tIoU 损失、分类损失和质量损失组成。当该目标收敛后，研究将参数空间严格划分为骨干网络 θback 和检测头 θhead 两部分，并冻结 θback，阻断所有后续 RL 梯度向特征骨干的回传。这一策略确保高方差策略梯度仅作用于轻量检测头，保护脆弱的特征流形不被破坏。

第四阶段是渐进式强化学习（Three-stage Progressive Reinforcement Learning，TPRL）。该阶段细分为三个子阶段：锚点精炼（Anchor Refinement，AR）、奖励加权回归（Reward-Weighted Regression，RWR）和策略梯度优化（Policy Gradient Optimization，PGO）。AR 阶段仅对前景分数最高的预测与其 tIoU 最大的真值片段计算 ℓ1 和广义 tIoU 损失，以校准最高排名预测与评估选择之间的一致性。RWR 阶段利用实际 tIoU 奖励作为权重，仅对得分最高的前 k̂ 个查询进行加权回归，使高奖励预测获得更大梯度，逐步拉大不同查询之间的质量差距。PGO 阶段将边界预测形式化为马尔可夫决策过程（Markov Decision Process，MDP），冻结的骨干提供稳定状态，检测头作为智能体产生候选动作。奖励被定义为预测与真值集合之间的最大 tIoU，采用组相对策略优化（Group Relative Policy Optimization，GRPO）计算组内相对优势，并通过策略损失与 RWR 损失的加权和完成对 tIoU 的直接优化。TPRL 通过三阶段递进设计，使优化目标从代理损失平滑过渡到非可微评价指标。

实验在 Charades-STA、QVHighlights 和 TACoS 三个公开基准上展开。在 Charades-STA 上，GIRL-DETR 的 R1@0.3 达到 75.54%，R1@0.5 达到 61.75%，mIoU 达到 52.82%，均优于对比方法；尽管 R1@0.7 略低于 BAM-DETR，但主流阈值上的稳定性更强。在 QVHighlights 上，R1@0.5、R1@0.7、mAP@0.5 和 mAP 分别达到 73.03%、56.77%、69.85% 和 50.10%，全面超越现有最优方法，尤其在严格阈值 R1@0.7 上提升显著，表明边界预测和置信度排序更可靠。在 TACoS 上，R1@0.5 达到 43.69%，mIoU 达到 40.20%，在中等阈值和平均重叠质量上领先，显示出对细粒度相似场景的鲁棒性。

消融实验进一步验证了各模块的贡献。在 QVHighlights 上，基线模型使用基础 DETR 时 R1@0.5 为 71.35%，引入 CMI 后提升至 71.68%，再加入 TGG 后达到 72.13%，最终加入 TPRL 后达到 73.03%。同时，使用 SlowFast 特征替换 InternVideo2 时，完整框架仍保持 R1@0.5 为 71.23%，证明性能提升来自所提模块而非单纯依赖重特征提取器。TPRL 的训练动态显示，AR 阶段建立稳定基线，RWR 阶段呈阶梯式提升，PGO 阶段达到峰值，且曲线整体平稳，说明三阶段设计能有效抑制 RL 早期的高方差梯度风险。在泛化性方面，将 TPRL 应用于 VideoLights、UniVTG、QD-DETR 和 CG-DETR 等代表性基线后，所有模型的 R1、mIoU 和 mAP 均获得一致提升，证明代理损失退化是 VMR 模型中的普遍问题。梯度隔离策略的消融表明，冻结全部骨干时性能最优；逐步解冻 TGG、CMI、编码器与解码器第一层乃至整个网络时，各项指标持续下降，证明梯度隔离对保护多模态表示是必要的。

该研究的结论指出，GIRL-DETR 通过 TGG 增强查询的语义感知，通过梯度隔离策略冻结特征骨干，仅对检测头实施 TPRL 优化，实现了状态表示与度量优化的正交解耦。该方法以最小参数更新量缓解了代理损失退化，并在多个基准上取得了显著的定位精度提升。其科学价值在于首次验证了 RL 后训练可以稳定地应用于轻量 VMR 架构，为后续研究提供了可行路径；应用价值体现在该策略无需重训练骨干即可适配多种已有模型，具有极高的通用性和实际部署潜力。研究的亮点包括：首次在轻量 VMR 中引入 RL 直接优化非可微指标；提出 TGG 机制注入文本先验；设计 TPRL 三阶段递进策略以保证训练稳定；以及通过梯度隔离实现表示保护与度量对齐的解耦。未来作者计划将该机制扩展至更广泛的多模态时空定位任务。