本文档报告了一项名为“TRACE”（Transformation Consistency Evaluation，变换一致性评估）的原创性研究，旨在解决物体检测（Object Detection, OD）模型在测试阶段的后门（backdoor）样本检测问题。以下是对该研究的学术报告。

第一，主要作者、机构及发表信息 本研究由Hangtao Zhang、Yichen Wang、Shihui Yan、Chenyu Zhu、Ziqi Zhou、Linshan Hou、Shengshan Hu、Minghui Li、Yanjun Zhang及Leo Yu Zhang共同完成。作者单位包括华中科技大学网络空间安全学院、软件工程学院、计算机科学与技术学院，哈尔滨工业大学，悉尼科技大学以及格里菲斯大学。该研究论文已被计算机视觉顶级会议CVPR（计算机视觉与模式识别会议）接收。根据文末注明的“This CVPR paper is the open access version”，可知该论文已发表于CVPR会议，尽管具体卷期未在摘要部分明示，但通常CVPR会议论文代表该领域内的高水平研究成果。

第二，学术背景与研究目的 本研究属于人工智能安全，特别是深度学习模型安全中的后门攻击防御领域。物体检测是计算机视觉的关键应用，广泛应用于自动驾驶、视频监控等场景。然而，研究表明物体检测模型容易遭受后门攻击：攻击者通过在训练数据的一小部分样本中嵌入预定义的触发器（trigger，如特定图案），使模型在正常样本上表现良好，但在遇到包含触发器的测试样本时，输出攻击者指定的错误结果（例如，让特定物体“消失”或凭空“出现”一个“幽灵”物体）。因此，在模型部署后（测试时）实时检测并过滤掉这些被投毒的（poisoned）样本，对于防止后门激活至关重要，这被称为测试时后门检测（Test-Time Backdoor Detection, TTSD）。

现有针对分类任务的TTSD方法（如TECO、Scale-Up）在应用于物体检测任务时效果不佳，因为它们未能考虑物体检测任务的独特挑战：1）模型架构复杂性：检测器通常具有回归（定位）和分类的双分支结构，使得攻击效果更加复杂多样（如图1所示的幽灵物体、物体消失、全局误分类、自然特征共现触发等）。2）输出密集性：模型需要对图像中多个物体的“是什么”和“在哪里”同时做出判断，输出空间庞大，增加了检测触发器的难度。尽管存在专门为物体检测设计的黑盒TTSD方法“Detector Cleanse”，但它假设防御者完全知晓攻击的具体细节（如攻击者设定的判断标准），这在实践中不现实。因此，领域内亟需一种黑盒（无需模型内部参数）、通用（不依赖特定攻击的先验知识）、实用（无需训练数据）且适用于物体检测任务的后门检测方法。本研究的核心目的，正是填补这一空白，提出一种全新的、基于语义感知变换一致性评估的测试时后门检测框架——TRACE。

第三，详细研究流程与方法 TRACE的研究流程基于两个关键观察展开，并围绕这两个观察设计了相应的评估模块。

观察与核心思路： 1. 上下文偏见与后门稳定性：作者发现，干净样本中的物体识别常依赖于其出现的上下文背景（如“鸟”常出现在树林背景中），当背景剧烈变化时，其检测置信度会产生较大波动。相反，由固定模式触发的后门（如图1(a)的“幽灵人”），其检测置信度在不同背景下表现出异常稳定。这是因为后门训练在触发器模式与目标标签之间建立了强健但肤浅的“捷径学习”（shortcut learning），使得模型识别触发器时几乎不受上下文干扰。 2. 回归连续性与焦点敏感性：对于导致物体“消失”的后门攻击（FN-inducing attack），作者发现触发器在空间上具有连续影响，像一个“黑洞”抑制了周围区域的模型激活（如图3所示）。为了在黑盒设置下探测这种不可见的触发器，作者提出主动引入“焦点信息”——即具有位置不变性识别特性的自然后门物体（Natural Backdoor Objects, NBOs，如形状颜色标准化的“停止标志”）。当这些NBOs在图像上滑动时，在干净图像上其置信度稳定；但在包含FN诱导触发器的图像上，当NBOs滑动到触发器区域附近时，置信度会出现突然的剧烈下降（即“岛屿效应”，island effect）。

基于以上观察，TRACE的工作流程分为三个核心步骤：上下文信息变换、焦点信息变换以及最终的测试时评估决策。

详细工作流程：

1. 上下文信息变换（Contextual Information Transformation）：

   • 目的：检测FP诱导的触发器（即导致额外物体出现的攻击）。
   • 对象与样本量：对每一个待测图像样本x进行处理。
   • 处理方法与实验： a. 背景混合：从公开可用的背景数据集（如Background Challenge dataset）中均匀采样多个背景图像δ。将每个背景以一定的透明度α_bg（如0.15）与待测图像x进行混合，生成一批背景变换后的图像 x ⊕ δ。这种方法在图像级别引入多样化的上下文信息，而无需对每个物体进行分割和单独叠加，计算效率更高。 b. 模型查询与置信度收集：将这批变换后的图像输入到待防御的黑盒物体检测模型f_θ中，获取模型对图像中每个检测到的物体o_i的预测置信度f_θ(o_i ⊕ δ)_y(o)。 c. 一致性计算（CTC）：对于图像中的每个物体，计算其置信度在不同背景δ下的方差（Variance），记为Δ_var_b (f_θ, o_i)。此方差即上下文变换一致性（Contextual Transformation Consistency, CTC）值。方差越小，表明该物体在不同背景下检测越稳定，越可能是触发器。 d. 自然后门对象过滤：为解决某些标准化的干净物体（NBOs，如停止标志）也可能表现出低CTC值的问题，作者引入了一个后处理模块。对于所有低CTC值的可疑物体，将其与对应类别的“通用视觉基准”（从公开数据集中选取的该类别代表性图像）进行结构相似性（SSIM）比较。如果相似度低于阈值τ（如0.1），则认为该物体是异常的触发器而非NBO，予以保留用于后续计算。 e. 图像级CTC值：最终，图像的CTC值定义为经过SSIM过滤后，所有物体CTC值中的最小值。即Δ_var_b (f_θ, x) = min(Δ_var_b (f_θ, o_i))，其中o_i满足SSIM过滤条件。值越低，表明图像越可能包含FP诱导触发器。

2. 焦点信息变换（Focal Information Transformation）：

   • 目的：检测FN诱导的触发器（即导致物体消失的攻击）。
   • 对象与样本量：对同一个待测图像样本x进行处理，并使用选定的NBO（如“停止标志”图像块）作为探针。
   • 处理方法与实验： a. 探针选择：选择一个具有位置不变性识别特性的NBO（o_nbo）作为探针。这类物体在图像不同位置都能被模型以高置信度稳定检测。 b. 蒙特卡洛采样覆盖：为了避免在图像上密集滑动探针带来的高额查询成本，作者采用蒙特卡洛采样方法。在图像空间域ω上随机采样k个不重叠的位置点p。对于每个采样点，将NBO探针o_nbo以该点为中心，“盖章”覆盖到待测图像x上，生成变换图像k(x, o_nbo, p)。此过程重复f次，累积足够的采样点以构建近似的连续显著性图。 c. 模型查询与指标计算：对于每个生成的变换图像，输入模型获取两个关键信息：i) NBO探针自身的置信度f_θ(k(x, o_nbo, p))_y(o)；ii) 由于探针引入导致的图像整体检测结果变化（即新出现的检测框）。 d. 一致性计算（FTC）：基于上述查询结果，计算焦点变换一致性（Focal Transformation Consistency, FTC）值Δ_f (f_θ, x, o_nbo)。该值由两部分组成：i) NBO探针置信度在空间上的二阶导数（拉普拉斯算子），用于捕捉“岛屿效应”中置信度的两次急剧变化；ii) 图像级检测结果因探针覆盖而产生的正向变化量（捕捉探针覆盖触发器后可能“修复”检测、导致新物体突然出现的情况）。对于采样得到的多个Δ_f值，计算其方差，得到图像级的FTC值Δ_var_f (f_θ, x, o_nbo)。方差越大，表明探针在不同位置引起的模型反应差异越大，图像越可能包含FN诱导触发器。

3. 测试时TRACE评估（Test-Time TRACE Evaluation）：

   • 目的：综合CTC和FTC信息，对输入样本是否为后门样本做出最终决策。
   • 决策逻辑：对于一个图像x，较小的CTC值（Δ_var_b）和较大的FTC值（Δ_var_f）都指示其是中毒样本的可能性更高。因此，作者将这两个方差值分别通过Sigmoid函数归一化到(0,1)区间，然后计算最终的TRACE异常分数：TRACE(x) = σ(Δ_var_f) - σ(Δ_var_b)。此分数将输入样本映射到一个线性可分的空间。
   • 阈值判定：防御者设定一个阈值γ。若TRACE(x) > γ，则判定x为后门样本；否则判定为干净样本。论文指出，即使在最坏情况下（无法估计阈值），将γ设为0，TRACE的性能依然具有竞争力。

第四，主要研究结果 研究通过在三个主流数据集（MS-COCO、PASCAL VOC、合成交通标志数据集）上，针对三种代表性检测器（YOLOv5、Faster R-CNN、DETR），防御七种最先进的后门攻击（OGA、RMA、GMA、ODA、CIB、UTA、DC）来全面验证TRACE的有效性。

1. 防御性能卓越：如表2所示，TRACE在所有测试场景（共42个被后门感染的模型）中均取得了优异的性能。其F1分数和AUROC（受试者工作特征曲线下面积）全面超越了现有的黑盒TTSD方法，包括专门为物体检测设计的Detector Cleanse，以及从分类任务迁移过来的TECO、Strip、FreqDetector、Scale-Up等方法。特别是，TRACE的平均F1分数比Detector Cleanse高出约30%。结果表明，现有方法因任务上下文转移而失效，而TRACE提出的语义感知变换能更有效地揭示后门样本的异常。
2. 模块有效性验证（消融实验）：如图8所示，作者通过消融实验验证了TRACE各模块的必要性。移除上下文变换（CTC）、焦点变换（FTC）或SSIM过滤模块中的任何一个，都会导致防御性能（精确率、召回率、AUROC）显著下降。这证明了三个模块在检测不同类型攻击（FP诱导和FN诱导）以及过滤干扰项（NBOs）方面的互补和不可或缺的作用。
3. 超参数影响分析：如图9所示，作者分析了关键超参数的影响。背景查询数量b和前景（NBO）查询数量f的增加会提升性能，但也会增加时间开销，在b=30，f=50时达到较好的平衡。SSIM过滤阈值τ影响NBO与触发器的区分，τ=0.1被选为最优平衡点。
4. 对自适应攻击的抵抗力：作者考虑了最坏情况，即攻击者完全知晓TRACE的防御机制，并尝试在训练后门模型时加入针对性的“自适应损失”（J_adap），以迫使模型在干净样本和中毒样本上表现出相似的变换一致性。实验结果表明（表3及图10），虽然这种自适应攻击能在一定程度上降低TRACE的检测性能（如F1分数从0.9+降至0.6左右），但它是以显著牺牲后门攻击成功率（ASR） 为代价的。图10显示，在后门训练过程中，自适应损失与标准后门损失呈负相关，优化其中一个会损害另一个。这证明了TRACE所依赖的异常一致性（捷径学习与上下文解耦、触发器对周围区域的抑制效应）与后门攻击的有效性之间存在内在冲突，从而确保了TRACE的鲁棒性。
5. 可解释性分析：作者使用最新的可解释人工智能（XAI）方法L-CRP，对TRACE的工作原理提供了直观解释（图7）。例如，干净物体（如香蕉）的检测最初依赖于上下文（绿色植物），背景变换（换成火灾场景）打破了这种依赖，导致置信度变化；而后门触发器（如幽灵人）的检测则始终独立于输入和上下文，表现出输入无关的稳定性。这从原理上支撑了CTC检测的有效性。

第五，研究结论与价值 本研究提出了TRACE，一种用于物体检测模型的全新、黑盒、通用测试时后门检测方法。其核心贡献在于揭示并利用了后门样本在上下文变换和焦点变换下表现出的异常一致性现象，并据此设计了一套语义感知的变换一致性评估框架。

• 科学价值：
  • 新范式：提出了“语义感知变换一致性评估”这一后门检测新范式，超越了传统基于像素级均匀变换的方法，更贴合物体检测任务的本质。
  • 新见解：深入揭示了后门攻击在物体检测模型中表现出的独特性质（如对上下文的“免疫力”、在空间上的连续性影响），以及利用“自然后门物体”作为探针来探测不可见触发器的巧妙思路。
  • 通用框架：基于对FP诱导和FN诱导攻击的统一形式化定义，TRACE能够用一个框架覆盖多种复杂的攻击变体，实现了真正的攻击无关（attack-agnostic）检测。
• 应用价值：
  • 高实用性：仅需黑盒模型访问权限和公开的辅助数据（背景图、NBO参考图），无需训练数据或攻击先验知识，非常适合机器学习即服务（MLaaS）等现实场景。
  • 强有效性：在广泛实验中验证了其卓越的防御性能、稳定性以及对潜在自适应攻击的抵抗力，可作为部署模型的可靠“防火墙”。
  • 广泛适用性：兼容不同类型的检测器架构（单阶段、两阶段、Transformer-based）和数据集。

第六，研究亮点 1. 重要的发现：首次系统性地观察并形式化定义了后门物体在上下文变换下的异常稳定性（CTC）以及利用NBO探针揭示FN触发器“岛屿效应”（FTC）的现象，为后门检测提供了全新的、可靠的检测信号。 2. 方法的创新性： * 语义感知变换：区别于以往工作的像素级操作，TRACE的变换操作具有明确的语义导向（背景替换、前景探针覆盖），能更精准地触发和测量后门行为的特异性。 * 双路径检测：通过CTC和FTC两条路径，分别精准打击FP和FN两类基础攻击原语，并通过统一决策逻辑处理混合攻击，设计精巧。 * NBO的巧妙运用：将标准化物体从“干扰项”转化为“探测工具”，利用其位置不变性来绘制模型的空间敏感性图谱，是解决黑盒下FN触发器检测难题的关键创新。 3. 研究对象的特殊性：专注于更具挑战性且现实应用广泛的物体检测任务，解决了该领域后门防御研究相对滞后、现有方法不适应的问题。

第七，其他有价值内容 论文还详细讨论了现有TTSD方法普遍失效的两个根本性挑战（❶检测器双分支架构与复杂攻击效果；❷密集输出空间），这有助于读者理解该领域的研究难点。同时，论文对“自然后门”概念的讨论，连接了后门攻击与深度学习模型固有的对简单、显著特征的过拟合倾向，增加了研究的理论深度。最后，作者坦诚地指出了TRACE的局限性，包括因多次变换查询带来的时间开销增加以及对公开辅助数据的依赖，并将高效的零样本检测列为未来工作方向，体现了研究的严谨性。