关于FLARE：一种面向后门攻击的通用数据集净化方法的研究报告

一、 研究团队与发表信息

本研究由林善厚（哈尔滨工业大学深圳校区）、魏罗（澳大利亚迪肯大学）、华仲云（哈尔滨工业大学深圳校区）、陈松华（独立研究员）、张利奥·余（澳大利亚格里菲斯大学）和李一鸣（新加坡南洋理工大学）共同完成。该研究以论文《FLARE: Toward Universal Dataset Purification against Backdoor Attacks》的形式，发表于IEEE Transactions on Information Forensics and Security期刊。

二、 学术背景与研究目标

主要科学领域： 本研究属于可信人工智能（Trustworthy AI）与机器学习安全（Machine Learning Security）领域，具体聚焦于针对深度神经网络（Deep Neural Networks, DNNs）后门攻击（Backdoor Attacks）的防御策略。

研究背景与动机： 深度神经网络在自动驾驶、人脸识别等关键任务中广泛应用。然而，当模型训练依赖于第三方提供的大规模数据集时，存在严重的安全风险。攻击者可以在训练数据中植入带有特定触发模式（Trigger）的恶意样本（即投毒样本，Poisoned Samples），并篡改其标签。模型在训练过程中会同时学习正常的分类特征和“触发模式-目标标签”之间的恶意关联，从而被植入后门。后门模型在正常输入下表现良好，但一旦输入包含预设的触发模式，无论其真实内容如何，模型都会被诱导输出攻击者指定的目标标签。这种攻击隐蔽性强，危害巨大。

为了从源头防御后门攻击，研究者提出了数据集净化（Dataset Purification）方法，旨在模型训练前识别并移除数据集中的投毒样本。现有的先进净化方法（如基于早期收敛、主导触发效应、扰动一致性或特定层潜在可分性的方法）通常隐含一个核心假设：后门连接（即触发模式与目标标签之间的关联）比良性特征更容易被模型学习。 本研究的核心发现是，这一假设并非总是成立，尤其是在全对全（All-to-All, A2A） 和无目标（Untargeted, UT） 等复杂的后门攻击模式下。如图1所示，在这些攻击下，现有方法的良性准确率（BA）和后门消除率（BER，与攻击成功率ASR相对）表现不佳，说明其防御效果失效。

进一步分析（图5）表明，投毒样本与良性样本的可分离性（Separability）并非固定于某个特定层（如最终隐藏层），而是在不同隐藏层间动态变化，且随攻击类型不同而异。因此，仅依赖单一层（尤其是深层）的特征进行分析，可能无法有效检测A2A和UT攻击下的投毒样本。

研究目标： 基于上述观察，本研究旨在提出一种通用的数据集净化方法，能够有效应对包括A2O、A2A和UT在内的多种后门攻击模式。该方法需要克服现有方法的局限性，不依赖“后门连接更易学习”的假设，而是通过分析模型所有隐藏层的特征来全面捕捉投毒样本的异常痕迹。

三、 研究方法与工作流程

本研究提出的方法命名为FLARE（Full-spectrum Learning Analysis for Removing Embedded poisoned samples）。其核心思想是：通过聚合所有隐藏层的异常激活值来构建样本的潜在表示，并利用聚类分析和簇稳定性评估来识别投毒样本。 整个工作流程分为两个主要阶段，如图6所示。

第一阶段：潜在表示提取（Latent Representation Extraction）

此阶段的目标是为每个训练样本构建一个全面的、跨所有隐藏层的特征表示向量，以捕捉后门触发模式在模型内部引发的分布式异常。

1. 训练后门模型： 首先，在可疑的（可能被投毒的）数据集上，使用标准流程训练一个深度神经网络模型（如ResNet-18）。这个模型在学习正常任务的同时，也必然会学习到投毒样本中植入的后门关联。该模型将作为特征提取器。
2. 特征对齐（Feature Alignment）： 深度神经网络不同层的特征图（Feature Maps）数值范围和分布差异巨大，直接比较没有意义。FLARE利用模型中普遍存在的批量归一化（Batch Normalization, BN）层的统计量（均值µ和方差σ²）来对齐所有特征图。具体地，对于第l层卷积层的输出a，通过一个基于BN统计量的变换p(·; µ, σ²)将其转换为对齐后的输出â，使得所有特征图的值被归一化到一个统一的尺度（如接近[0,1]的范围）。这解决了特征值跨层可变性（C1）的挑战。
3. 提取异常特征（Extracting Abnormal Features）： 后门相关的特征通常作为主导特征，会在特征图中引发异常大或异常小的激活值。经过对齐后，特征值服从由BN统计量定义的分布，异常值（无论大小）都对应着低概率区域。为了简化并统一处理，FLARE从每个对齐后的特征图中提取最小值作为该特征图的代表值。对于一个有d_c个通道的特征图，第l层的表示r^(l)就是一个包含d_c个最小值的向量。对于每个训练样本x_i，将其所有L个隐藏层提取的表示向量拼接起来，形成最终的全谱潜在表示 r_i = [r^(1), r^(2), ..., r^(L)]。这种方法用每个通道的一个标量值（最小值）代表高维特征图，有效应对了高维和噪声（C2）的挑战。

第二阶段：投毒样本检测（Poisoned Sample Detection）

此阶段的目标是利用第一阶段提取的表示，将数据集划分为投毒样本簇和良性样本簇。

1. 降维与聚类分割： 首先，为了提升聚类效率并降低计算消耗，使用UMAP（Uniform Manifold Approximation and Projection）算法对高维表示R进行降维，得到R̂。UMAP能较好地保持数据流形的拓扑结构。然后，使用HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise）算法对R̂进行聚类。HDBSCAN能够处理不同形状和密度的簇，并生成一个凝聚树（Condensed Tree）T，其中簇在不同密度水平（λ，λ = 1 / d_core，d_core为核心距离）下被划分。通过调整密度阈值，可以将紧密的投毒样本簇与相对分散的良性样本簇区分开。初步聚类会将整个数据集分割成多个簇。
2. 稳定子空间选择（Stable Subspace Selection）： 直接在全表示空间聚类存在一个问题：良性样本因类别不同会自然形成多个紧凑的簇，这可能干扰对单一投毒簇的识别。FLARE观察到，模型在浅层学习语义信息，在深层学习区分性特征。深层特征可能加剧良性样本的类间分离。因此，FLARE设计了一种自适应算法（算法1），通过逐步排除最后几层（k层）的特征来寻找一个“稳定子空间”。在这个子空间中，不同类别的良性样本倾向于聚集在一起（形成一个或少数大簇），而与投毒样本形成的簇保持分离。算法通过评估在凝聚树T中从根节点分裂出的最大子簇的稳定性（κ_cmax，即该簇从出现到分裂的密度水平范围）来判断当前子空间是否稳定。若稳定性超过预设阈值ξ，则认为找到了一个良性样本聚集良好的子空间R‘。
3. 基于稳定性的检测（Stability-based Detection）： 在选定的稳定子空间R‘的降维表示上，再次应用HDBSCAN构建凝聚树。然后，在根节点将树分割为两个主要簇C1和C2。FLARE计算每个簇的稳定性κ_c（定义同前：簇从出现到分裂的密度水平跨度）。由于投毒样本共享相同的触发特征，它们倾向于形成一个在很宽的密度范围内都保持完整的、高稳定性的紧凑簇。而良性样本簇（即使聚集在一起）在密度水平变化时更容易发生分裂或变化。因此，FLARE将稳定性更高的簇识别为投毒簇（算法2）。最终，该簇中的所有样本被标记为投毒样本S_p。

后处理策略： 检测出投毒样本后，研究者提供了两种后续利用方案： * 策略一：安全重训（Secure Training from Scratch）： 直接从数据集中移除检测到的投毒样本D̂_p，用净化后的数据集D̂_b从头训练一个新的模型，从而获得一个干净、无后门的模型。 * 策略二：后门移除（Backdoor Removal）： 不重新训练，而是对已有的后门模型进行修复。分为两步：(a) 反学习（Unlearning）：在检测出的投毒样本D̂_p上，最大化模型对其恶意标签的交叉熵损失，旨在“忘记”后门关联；(b) 再学习（Relearning）：在剩余的良性样本D̂_b上最小化损失，以恢复模型在良性任务上的性能。这两步在每个训练周期中交替进行。

四、 主要实验结果

研究在CIFAR-10和Tiny-ImageNet两个基准数据集上，使用ResNet-18等模型架构，对FLARE进行了广泛的评估，涵盖了22种代表性的后门攻击，包括样本无关攻击（如BadNets, Blend）、样本特定攻击（如WaNet, ISSBA）、干净标签攻击（LC）和稀疏攻击（SIBA），并覆盖了A2O、A2A和UT三种攻击模式。

1. 检测性能（Detection Performance）： 如表I和表II所示，FLARE在几乎所有攻击场景下都取得了接近100%的真阳性率（TPR，即成功检测出投毒样本的比例）和接近0%的假阳性率（FPR，即误将良性样本判为投毒的比例）。这与基线防御方法（如AC, Scale-Up, MSPC, IBD-PSC, CT）形成了鲜明对比。这些基线方法在A2O攻击下表现尚可，但在A2A和UT攻击下TPR急剧下降（许多低于20%），FPR升高，标志着防御失效。FLARE的通用性和鲁棒性得到了充分验证。

2. 安全重训的有效性（Effectiveness of Secure Training from Scratch）： 如表III和表IV所示，使用FLARE净化后的数据集重新训练的模型（FLARE (P)），其良性准确率（BA）与原始后门模型（无防御）或良性模型相比，下降极小（通常<1%），同时攻击成功率（ASR）被压制到接近0%（除少数UT攻击因其本身特性外）。而基线防御方法在A2A和UT攻击下，ASR仍然保持高位（普遍>60%），说明其净化失败，后门依然存在。

3. 后门移除的有效性（Effectiveness of Backdoor Removal）： 如表VI和表VII所示，直接对后门模型应用FLARE检测结果进行反学习/再学习（FLARE ®），能够在保持BA基本不变（轻微下降约1%）的同时，将各种攻击的ASR大幅降低至接近0%。其性能优于多种先进的模型级后门缓解方法（如FP, NAD, ABL, SEAM, BTI-DBF）。

4. 消融实验与鲁棒性分析（Ablation Studies and Robustness）： * 目标标签影响： 如图7所示，改变A2O攻击的目标标签，FLARE的检测性能（高TPR，低FPR）保持稳定。 * 模型架构影响： 如表V所示，在VGG-19和MobileNetV2架构上，FLARE同样表现优异，证明了其不依赖于特定模型架构。 * 稳定子空间选择模块的重要性： 实验表明，不使用该模块时，对于某些复杂攻击（如WaNet），FPR会上升至20.15%，而使用后FPR降至0.00%，证明了该模块对于提升良性样本簇紧凑性、降低误报的关键作用。 * 特征提取粒度的影响： 如表IX所示，通道级特征提取（FLARE-C）比层级特征提取（FLARE-L）性能更优，因为前者能捕捉更细粒度的异常特征。 * 对低投毒率的鲁棒性： 如图8所示，即使投毒率（ρ）低至2%，FLARE对各类攻击仍能保持接近100%的TPR和接近0%的FPR。 * 对自适应攻击的抵抗： 针对旨在减少潜在可分离性的自适应攻击Ada-Patch，FLARE仍能达到92.10%的TPR和1.05%的FPR，展示了其较强的鲁棒性。

五、 结论与研究价值

结论： 本研究揭示了现有先进数据集净化方法所依赖的“后门连接更易学习”假设在A2A和UT攻击下不成立，并发现投毒样本与良性样本的可分离性分布于模型的多个隐藏层。基于此，提出了FLARE，一种通用的、不依赖上述假设的数据集净化方法。FLARE通过聚合全隐藏层异常激活值构建样本表示，并利用自适应子空间选择和簇稳定性分析来精准识别投毒样本。大量实验证明，FLARE能有效防御多达22种不同类型的后门攻击，包括以往方法难以应对的A2A和UT攻击，并且对低投毒率和自适应攻击具有鲁棒性。

科学价值与应用价值： * 科学价值： 深刻剖析了现有后门净化防御的局限性根源，提出了一个更普适的防御视角——从“单层/输出分析”转向“全谱层析分析”。重新定义了基于聚类稳定性的投毒样本识别准则，为理解后门攻击在模型内部的表征机制提供了新见解。 * 应用价值： 提供了一种强大、通用的数据预处理工具。在实际应用中，当用户获得一个第三方数据集时，可以先运行FLARE进行净化，再用于模型训练，从而从源头杜绝后门风险。该方法不依赖于干净的验证数据，实用性强。其检测结果也可用于直接修复已训练的后门模型。

六、 研究亮点

1. 问题洞察深刻： 首次系统地质疑并验证了现有后门净化方法的核心假设在复杂攻击下的失效，指出了其根本局限性。
2. 方法新颖通用： 提出了“全谱学习分析”框架，创新性地利用所有隐藏层的异常激活，并设计了自适应稳定子空间选择算法和基于簇稳定性的检测机制，实现了对多种攻击模式的通用防御。
3. 实验全面扎实： 评估涵盖了22种攻击、3种攻击模式、2个数据集、多种模型架构，并进行了详尽的消融实验和鲁棒性测试，结论令人信服。
4. 实用性强： 提供了即插即用的数据集净化方案和模型修复方案，代码已开源，便于研究和应用社区使用。

七、 其他有价值内容

研究还讨论了FLARE的潜在局限性：主要在于需要额外的特征提取和聚类时间开销。但作者指出，模型训练本身是必要步骤，而FLARE的额外开销（在CIFAR-10上约为180秒）相对于训练时间（1365秒）是可接受的。未来工作可以探索更高效的特征提取和聚类算法以进一步降低开销。总体而言，FLARE为后门攻击的源头防御提供了一个高效、通用且强有力的新工具。