作者与发表信息 本文由来自爱沙尼亚塔林理工大学（Tallinn University of Technology）的 Mohammad Hasan Ahmadilivani, Mahdi Taheri, Jaan Raik 与 Maksim Jenihhin，以及来自瑞典梅拉达伦大学（Mälardalen University）和塔林理工大学的 Masoud Daneshtalab 共同撰写。该研究作为一篇系统性文献综述（Systematic Literature Review, SLR），发表于《ACM Computing Surveys》期刊（Vol. 56, No. 6, Article 141），发表日期为2024年1月。
论文主题 本文聚焦于深度神经网络（Deep Neural Networks, DNNs）硬件可靠性的评估方法。随着DNNs在自动驾驶等安全关键（safety-critical）领域的广泛应用，其部署平台——DNN硬件加速器（DNN Hardware Accelerators, DHAs）——的可靠性变得至关重要。硬件故障可能导致灾难性后果。近年来，针对DNN可靠性评估的研究大量涌现，采用了多种方法、平台和评估指标，但缺乏系统性的梳理和总结。因此，本文旨在通过SLR方法，全面回顾、分类和总结2017年至2022年间关于DNN硬件可靠性评估的研究工作，识别现有方法的优缺点，并指出该领域的开放挑战与未来研究方向。
主要观点阐述
1. 明确了DNN可靠性评估的三大方法类别及其分布趋势 本文通过对139篇相关论文的系统性分析，首次将DNN可靠性评估方法归纳为三大类：故障注入（Fault Injection, FI）方法、分析（Analytical）方法和混合（Hybrid）方法。其中，故障注入方法是绝对的主流，占据了近90%的研究工作，而分析方法和混合方法分别仅占约8%和2%。这一分布揭示了当前研究严重依赖模拟或实验性故障注入来评估可靠性，而更具理论性和高效性的分析方法尚处于起步阶段，存在巨大的探索空间。从时间趋势看，该领域的研究自2017年开始兴起，并在此后逐年增长，显示出其日益增长的重要性。
2. 对主流的故障注入方法进行了全面且细致的分类与特征描述 鉴于故障注入方法的主导地位，本文花费了大量篇幅对其进行深入剖析，构建了一个清晰的多层次分类体系。首先，根据实施平台和抽象层级，将FI方法分为三大途径： * 故障模拟（Fault Simulation）：在软件层面（如PyTorch, TensorFlow框架）或硬件描述语言（HDL）模型中模拟故障注入。此途径进一步细分为： * 硬件无关平台：在纯软件框架中注入故障，灵活但可能与实际硬件行为存在偏差。 * 硬件感知平台：在软件实现中考虑了DHA的抽象模型（如脉动阵列结构），使评估更具硬件相关性。 * RTL模型平台：在专用集成电路（ASIC）型DHA的寄存器传输级（RTL）模型中进行故障模拟，精度高但开发耗时。 * 硬件仿真（Fault Emulation）：在真实的硬件加速器（如FPGA、GPU、多核处理器）上运行DNN，并通过软件或硬件手段模拟注入故障。这种方法更贴近实际硬件行为，是连接软件模拟和真实物理故障的重要桥梁。 * FPGA平台：常利用Zynq等片上系统，通过主机或嵌入式处理器控制故障注入到配置存储器或片上内存中。 * GPU平台：利用如SASSIFI、NVBitFI等专用框架，在指令集架构（ISA）可见状态（如寄存器、内存值）中注入故障。 * 处理器平台：主要针对ARM等多核处理器，研究寄存器文件等组件中的软错误影响。 * 辐照（Irradiation）：最真实的方法，将搭载DNN的硬件加速器（FPGA、GPU、TPU）置于粒子束（中子、离子）下进行辐照，诱发真实的物理故障。这种方法用于验证模拟/仿真结果的准确性，并建立实际故障率模型（如失效时间FIT、软错误率SER）。
对于每种途径下的各个平台，文章详细阐述了其典型的故障模型（如瞬态故障的比特翻转、永久故障的卡滞）、故障位置（权重、激活值、配置位、寄存器等）、使用的工具/框架（如PyTorchFI, TensorFI, FIJI-FIN）以及可靠性评估指标。这些指标不仅包括常见的精度损失（Accuracy Loss），还包括基于故障影响的细致分类（如可容忍故障、关键故障、系统崩溃），以及架构脆弱性因子（AVF）、层脆弱性因子（LVF）、程序脆弱性因子（PVF） 等定量指标。这种细致的分类和特征描述为研究者根据自身需求（目标平台、故障类型、评估精度与效率的权衡）选择合适的方法提供了清晰的路线图。
3. 系统梳理了新兴的分析方法与混合方法 尽管占比较小，但本文对分析方法和混合方法给予了充分关注，指出了它们作为轻量级、可扩展替代方案的潜力。 * 分析方法：旨在通过数学建模而非耗时费力的故障注入来评估DNN的可靠性/脆弱性。本文识别了四种主要思路： * 基于层相关性传播（Layerwise Relevance Propagation, LRP）的分析：通过LRP算法计算神经元对网络输出的贡献度，贡献度越高则认为其脆弱性越高，进而识别关键神经元。 * 基于梯度（Gradient-based）的分析：通过计算权重或特征图（Feature Map）相对于输出损失的梯度，来衡量其对故障的敏感性。梯度越大，敏感性越高。 * 基于估计（Estimation-based）的分析：利用特征图的统计信息（如最大值、范围、L2范数）来快速估计其相对脆弱性，速度最快但精度相对较低。 * 基于机器学习（ML-based）的分析：利用开放集识别（Open-Set Recognition）等技术，通过分析输出逻辑值（logits）来识别可能导致关键错误的故障。 这些方法不依赖于具体的硬件加速器模型，属于“加速器无关”的方法，能够快速评估DNN算法层面的脆弱性，并为设计容错硬件或算法提供指导。 * 混合方法：结合了故障注入和分析方法的优势。例如，FIDELITY框架先在软件层面进行故障注入以获取故障屏蔽概率，同时结合对加速器架构（如NVDLA）的分析，建模数据路径和控制逻辑中触发器的活跃概率，最终计算出更准确的硬件FIT率。另一种方法则利用少量故障注入的结果作为训练数据，结合参数特征（绝对值、梯度等），训练一个随机森林模型来预测所有参数的脆弱性，从而用少量注入代价估算整体脆弱性。
4. 深入比较了各类方法的优缺点，并进行了定性分析 本文并非简单的文献罗列，而是在分类基础上进行了深刻的对比与讨论。文章明确指出： * 故障注入方法的优势在于结果真实、可模拟多种故障模型、适用于各种平台和抽象级别、并能提供丰富的评估指标。但其主要缺点是时间复杂度过高，为达到统计置信度需要进行海量实验；硬件仿真和辐照还需要物理设备或特殊设施，开发成本高。 * 分析方法的优势在于轻量、快速、可扩展，且与硬件平台无关，有助于在算法设计早期评估脆弱性。其缺点在于通常不提供像FIT这样精确的定量可靠性指标，且未考虑具体硬件加速器架构，评估准确性可能不如FI。 * 混合方法则试图在速度与准确性、软件灵活性与硬件真实性之间取得平衡，通过结合两者优势，有望建立新颖且高效的可靠性评估框架。
基于这些分析，文章提供了一个定性比较表格，从时间复杂度、硬件感知性、能否导向容错设计、故障模型多样性、实现层级、评估准确性、开发时间和评估指标等多个维度，直观对比了三大类方法。这为研究人员根据项目阶段（早期设计探索 vs. 最终产品验证）和资源约束选择最佳评估策略提供了宝贵参考。
5. 明确指出该研究领域的开放挑战与未来方向 作为一篇综述，本文的重要价值在于凝练现状并指引未来。文章总结的开放挑战包括： * 评估方法的效率与可扩展性：当前主流的FI方法对于大规模、复杂的DNN和DHA来说仍然过于耗时耗力。 * 分析方法的精度与实用性：现有分析方法在准确量化可靠性指标（如FIT）方面尚有不足，且如何将其有效集成到设计流程中仍需探索。 * 标准化与基准缺失：缺乏统一的可靠性评估基准套件（包括标准DNN模型、DHA架构、故障场景和评估指标），使得不同研究之间的结果难以直接比较。 * 对训练阶段可靠性的关注不足：现有工作绝大多数集中于推理阶段的可靠性，但DNN训练过程同样漫长且计算密集，其可靠性评估同样重要。 * 新兴硬件与算法的影响：针对新型DHA（如存内计算、模拟计算）、以及新型DNN模型（如Transformer、图神经网络）的可靠性评估方法研究尚不充分。 基于这些挑战，文章暗示了未来的研究方向：开发更高效、更准确的混合评估框架；推进分析方法的研究，使其能提供更可靠的定量指标；建立社区公认的基准；将可靠性评估早期融入DNN和DHA的协同设计流程中。
论文的意义与价值 本系统性文献综述具有重要的学术价值和实践指导意义： 1. 首次系统性梳理：这是首个专门针对DNN硬件可靠性评估方法（而非容错增强方法）进行的全面系统性文献综述，填补了该细分领域的空白。 2. 清晰的分类学框架：提出了一个层次分明、覆盖全面的分类学框架，对纷繁复杂的研究成果进行了有序梳理，为后续研究者快速理解领域全貌和定位自身工作提供了清晰的地图。 3. 深入的比较与洞察：不仅分类描述，更通过对比分析揭示了各类方法的本质特征、适用场景和内在权衡，提供了方法论层面的深刻见解。 4. 指明研究缺口与方向：明确指出了当前研究过度集中于故障注入、而分析方法和混合方法潜力未充分发掘的现状，并系统性地列出了多个开放挑战，为未来研究指明了有价值的推进方向。 5. 促进领域发展：通过总结与展望，有助于推动DNN可靠性评估领域向更高效、更标准化、更与设计流程融合的方向发展，最终为构建安全可靠的人工智能硬件系统奠定方法论基础。