本次介绍的学术研究由Dongning Ma（来自Villanova University）与Fred Lin、Alban Desmaison、Joel Coburn、Daniel Moore、Sriram Sankar（均来自Meta），以及Xun Jiao（同时任职于Villanova University和Meta）共同完成。该论文以《dr. dna: combating silent data corruptions in deep learning using distribution of neuron activations》为题，发表于2024年4月27日至5月1日在美国加州拉霍亚举办的“29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS ‘24)”，并被收录于该会议论文集。
这项研究的主要学术领域是计算机体系结构与系统可靠性，聚焦于深度学习系统的鲁棒性（Robustness）问题。研究开展的背景在于，随着深度神经网络在自动驾驶、计算机视觉等安全攸关领域的广泛应用，其可靠性变得至关重要。然而，随着晶体管工艺不断微缩、硬件架构日益异构化，一种被称为“静默数据损坏”的威胁日益凸显。SDC是指发生在硬件模块（如计算单元、存储器）中的“静默”错误，这些错误在计算系统中传播，直至触发系统异常前都难以被检测到。其“隐秘”特性使其在测试阶段难以发现，而实际生产环境中，大型科技公司（如Meta、Google、阿里云）已有报告显示，处理此类问题需要数月甚至数年时间，给AI系统的可靠运行带来严峻挑战。当前解决SDC的方案面临三大难题：一是SDC错误模式多样，有些仅引起微小数值变化，极为隐秘难以探测；二是SDC的影响在网络传播中会延迟显现，等到输出层发现为时已晚；三是现有的检测与缓解方法往往带来显著的性能或资源开销，难以部署在实时或资源受限的场景中。基于此，本研究旨在提出一种新颖、高效、低开销的SDC检测与缓解方法，其核心目标是：在深度神经网络推理的早期阶段，精准检测出SDC并及时采取缓解措施，以保障模型的可靠输出。
研究工作的详细工作流程主要分为三个核心部分：误差建模与注入、离线剖析与签名构建、以及在线检测与缓解。整个研究构建了一个名为“Dr. DNA”的框架。
首先，在误差建模与注入方面，为了系统地评估Dr. DNA的性能，研究者们定义了四种不同的SDC误差模型，以模拟现实硬件中可能出现的不同错误模式。这包括：1) 随机比特翻转：模拟由软错误等引起的瞬时比特位错误；2) 随机非数值：模拟浮点数比特位错误导致的NaN（Not-a-Number）或无穷大值；3) 随机值替换：模拟参数值被随机替换为大幅偏离其原始范围的数值；4) 随机值替换-隐秘型：这是最具挑战性的模型，它模拟参数值被替换为在其所在层的权重值小范围内波动的随机数，这种微小的变化更难被传统方法检测。研究者开发了自己的误差注入工具，作为Dr. DNA框架的一部分，该工具基于PyTorch原生API实现，具有良好的可扩展性和GPU加速能力，支持在模型推理过程中动态注入上述误差。
其次，是Dr. DNA的核心：离线剖析与签名构建阶段。此阶段的目标是在一个“无SDC”的环境中，为待保护的目标DNN模型建立一套正常的“神经元激活分布”基线，即所谓的SDC签名。工作流程如下：1) 选择剖析点：对于目标模型中的每一层（用户可指定具体哪些层），随机选取一小部分神经元作为“剖析点”。2) 数据采集：使用来自目标数据集（例如ImageNet）的少量随机批次样本进行模型推理，并记录所有剖析点在每个样本上的激活值。3) 构建分布：完成数据采集后，基于采集到的激活值构建三类统计分布（即“DNA”）：a) 个体DNA：为每一个剖析点构建一个直方图，描述该神经元在不同样本下的激活值分布。b) 层DNA：将同一层所有剖析点的激活值合并，构建一个描述该层整体激活值分布的直方图。c) 极端神经元：记录在剖析过程中，每一层平均激活值最高和最低的神经元（即极端神经元）。基于这三类分布，研究定义了一个异常性分数 来量化衡量当前推理过程的激活分布与基线分布的偏离程度。该分数由三个加权子分数构成：g1（基于个体DNA，若激活值落入直方图的低频区间或超出范围，则得分高），g2（基于层DNA，使用推土机距离 计算当前层分布与基线分布的差异），以及g3（基于极端神经元，检查当前样本的极端神经元是否与基线记录的极端神经元一致）。每一层的异常性分数累积起来，形成一个累积异常性分数t。所有上述剖析过程都在线下完成，生成的直方图和统计量构成了模型的“健康DNA档案”。
第三，是在线检测与缓解阶段。当目标模型部署上线进行推理时，Dr. DNA会实时工作：1) 早期检测：在模型前向传播过程中，每经过一个被监控的层，Dr. DNA就使用当前样本在该层的激活值，按照与剖析阶段相同的公式计算累积异常性分数t‘。然后计算t‘与线下剖析得到的基线累积分数t之间的裕度 。如果裕度连续超过预设阈值（例如，连续三层超过阈值，即“三振出局”规则），Dr. DNA就会在早期阶段（可能在网络中间层）立即触发SDC报警，停止后续无意义的计算或启动缓解措施。2) 错误缓解：当检测到SDC后，Dr. DNA提供了两种基于DNA的缓解策略：a) DNA引导的激活过滤：根据剖析阶段记录的每层激活值最小/最大值，对当前层超出此范围的激活值进行裁剪。b) 激活重分布：这是一种更精细的方法。对于被识别为异常的激活值（如NaN、无穷大或超出范围），Dr. DNA会从其对应剖析点的基线直方图中随机采样一个值（根据分布的概率）来替换它，从而将异常的激活分布“拉回”正常范围。
研究的主要结果基于广泛的评估得出，涵盖了3种视觉任务（分类、生成、分割）、5个数据集和10个不同的DNN模型（包括CNN、Transformer和MLP架构），并在上述4种误差模型下进行了测试。
在检测效能方面，结果非常突出。对于大多数情况，Dr. DNA达到了100%的SDC检测率；在所有测试案例中，平均检测率为95%，且所有案例的检测率均高于90%。这相较于基线方法（如基于余弦相似性的激活比较、基于层分布距离的方法以及基于最小/最大值范围的异常检测）实现了20%至70%的性能提升。数据显示，在最具挑战性的“隐秘型随机值”误差模型下，Dr. DNA的平均检测裕度约为10.6%，而基线方法的裕度普遍低于8%，这为设置检测阈值提供了更大空间，从而实现了高检测率和低误报率的平衡。研究还通过案例可视化（如图3）证实了Dr. DNA能够在错误发生后仅经过3-4层网络时就实现早期检测，有效阻止了错误影响的进一步传播。
在缓解效能方面，Dr. DNA同样表现优异。在分类任务中，使用“DNA引导的激活过滤”和“激活重分布”策略，能够显著恢复被SDC损害的模型精度。例如，对于ResNet模型，在“隐秘型随机值”误差下，模型Top-5准确率从受损后的0.706恢复到0.762（d-af）和0.714（ar）。在生成任务和分割任务中，这两种方法也能有效提升受损输出的峰值信噪比或平均精度，而传统的单一阈值激活过滤方法在此类隐秘错误下基本无效甚至有害。研究指出，传统的三重模块冗余虽然缓解效果极佳，但其高达300%的内存开销令人难以承受；而基于重执行的方法在持续发生SDC的场景下可能导致无限循环。Dr. DNA在效能和开销之间取得了极佳的平衡。
在系统开销方面，Dr. DNA的设计极为高效。其内存开销主要来自于存储每层的直方图统计量，对于拥有570万参数的Vision Transformer Tiny模型，额外参数仅约1.6万个，内存开销低于0.5%。在延迟方面，在YOLOv5s和YOLOv5l等实时目标检测模型上，启用“DNA引导的激活过滤”带来的推理延迟增加分别仅为2.4%和1.8%；即使使用更精细的“激活重分布”方法，延迟开销也分别控制在17.6%和12.1%，这对于许多实时系统而言是可接受的。
本研究得出的核心结论是：Dr. DNA通过制定和利用从神经元激活分布中提取的独特SDC签名，为DNN系统提供了一种高效、低开销、支持早期检测与缓解的可靠性增强方案。它成功应对了SDC的多样性、隐秘性和延迟显现等挑战，能够跨多种模型架构、任务和误差类型稳定工作。
该研究的科学价值和应用价值显著。在科学上，它创新性地将神经元激活的统计分布（DNA）概念系统性地应用于硬件可靠性领域，提出了一个完整的、可量化的SDC签名提取与异常检测理论框架。在应用上，Dr. DNA以极低的成本（%内存，<2.5%典型延迟）为部署在数据中心、边缘设备乃至自动驾驶系统中的DNN模型提供了切实可行的“免疫”机制，有助于提升关键AI服务的质量、可靠性和安全性。
本研究的亮点在于：第一，方法新颖：首次提出并系统性地利用“神经元激活分布”作为SDC的检测签名，构思巧妙。第二，效能卓越：实现了业界领先的SDC检测率（>90%）和有效的缓解能力，且支持早期干预。第三，高效实用：开销极低，具备实际部署的可行性，并提供了可配置的权衡选项。第四，评估全面：在极其多样的模型、任务和误差场景下进行了彻底验证，结论 robust。第五，框架完整：不仅提出了检测算法，还内置了灵活的误差注入工具和多种缓解策略，形成了一个端到端的解决方案。此外，论文也坦诚讨论了当前工作的局限性，例如对数据分布偏移的适应性、以及未来向训练阶段SDC检测扩展的可能性，为后续研究指明了方向。