这是一篇关于大语言模型（Large Language Model, LLM）推理负载对GPU供电网络（Power Delivery Network, PDN）可靠性影响的研究论文。该研究由得克萨斯大学奥斯汀分校（University of Texas-Austin）和AMD公司的研究人员合作完成，作者包括蒋志行（Zhixing Jiang）、Justin Garrigus、Allison Seigler、Ethan Syed、黄彦伦（Yan-lun Huang）、Mehdi Sadi、Tawfik Rahal-Arabi和Lizy Kurian John。论文发表于2026年的IEEE国际高性能计算机体系结构研讨会（IEEE International Symposium on High-Performance Computer Architecture, HPCA）上。

研究背景

论文的研究领域是GPU的供电完整性与AI工作负载的可靠性。近年来，大语言模型推理任务已成为云GPU系统面临的严峻可靠性挑战。与传统工作负载不同，LLM推理具有高度结构化、重复性的执行模式，这导致GPU功耗产生周期性的大幅振荡。当这些功耗振荡的频率与GPU供电网络（PDN）的固有谐振频率（Resonant Frequency）相匹配时，会产生共振效应，引发过大的电压跌落（Voltage Droop），从而导致不可靠的运行。

研究的核心背景是半导体工艺持续微缩带来的三大叠加效应：供电电压不断降低（先进节点已向0.7V甚至更低演进）、GPU工作频率不断提高（从Volta架构约1400 MHz到Hopper架构1800 MHz），以及芯片面积不断增大。更低的电压裕量使同样幅度的电压跌落占比更大；更高的工作频率增大了与PDN谐振频率对齐的概率；更大的芯片面积因片上电容增大而将PDN谐振频率推向更低的频段。这三者共同形成了一个“收敛情景”——GPU工作频率与PDN谐振频率日益接近，LLM的周期性计算模式更容易触发共振引起的电压不稳定。此前针对CPU的di/dt压力测试框架（如Audit）无法直接应用于GPU架构，同时针对LLM特定负载的电压缓解技术也处于空白。因此，本研究的目标是：（1）首次系统刻画LLM功耗振荡特性；（2）开发可控的di/dt压力测试负载生成框架；（3）提出一个缓解共振的软件技术。

研究工作流程

本研究流程可分为三个主要阶段。

第一阶段是LLM功耗的多粒度振荡剖析。作者使用DeepSeek-R1和Gemma3这两个真实LLM模型作为研究对象。在硬件层面，实验平台为一台搭载NVIDIA A100 GPU（Ampere架构，40GB显存，1410 MHz时钟频率，400W TDP）的DGX Linux服务器。借助NVIDIA管理库（NVML）进行应用级功耗监测。结果发现，在推理执行过程中功耗波动可达150W，但NVML采样间隔约25毫秒（对应40 Hz采样率），无法捕获PDN谐振频率所在的兆赫兹级振荡。为突破硬件测量限制，作者构建了AccelSim与AccelWattch相结合的仿真剖析流程，并通过滑动窗口技术进行频率选择性分析。在核（Kernel）级别，分析揭示了LLM内核存在显著的振荡行为：例如Gemma3中GEMM核心出现4.09 MHz的振荡（可能源于嵌套循环、线程块调度和内存合并访问），以及29.14 MHz的高频振荡（可能源于指令级执行模式、张量核心调度等），后者已接近典型GPU PDN的一级跌落谐振频率35 MHz。对不同核类型的比较分析显示，GEMM、注意力、归约和逐元素核的振荡频率大多在10至30 MHz范围内，部分振荡幅度超过35W且持续超过6个周期。对Gemma3的端到端剖析还分析了序列长度和批大小的影响：批大小为1时振荡幅度最大，而更大批大小由于GPU资源利用更一致，振荡幅度平均较小；序列长度则未显示单调趋势，作者认为这是因为长序列只是将同样尺寸的tile（分块）数量增多，每tile的功耗模式并未改变。

第二阶段是di/dt压力测试负载生成框架的开发。由于真实LLM核难以控制振荡频率和时机，无法系统触发共振，作者设计了一个基于遗传算法（Genetic Algorithm, GA）的两阶段自动化框架。参数空间包含20个独立旋钮（Knob），涵盖执行配置（griddim、blockdim、流数）、指令选择（8类流水线指令计数）、流水线深度与顺序数组、内存操作比例以及依赖管理距离。代码生成器将这些参数转换为PTX指令序列并嵌入模板核，利用计时器比特翻转控制高功耗阶段与低功耗阶段的交替，从而产生可控频率的振荡。搜索算法采用DEAP库实现遗传算法，适应度函数以最大化功耗振荡为目标，同时保持解多样性。功耗测量通过NVML在满足奈奎斯特采样准则的频率下进行。分析阶段包含功耗-电流转换（基于基尔霍夫定律和功率关系，使用SciPy的后向微分公式BDF求解刚性常微分方程系统）和电流-电压转换（在Cadence Virtuoso中使用SPICE仿真完整PDN梯形RLC电路）。共振检测采用迭代频率搜索，逐步将工作负载振荡频率逼近并锁定在35 MHz谐振点。

第三阶段是warp级交错执行（Warp-Level Staggering）缓解技术的提出与验证。作者在软件层面对warp调度进行修改，在连续warp之间引入经过校准的延迟（延迟幅度相对于振荡周期T=1/f，最优延迟范围从T/4到T/2），以打散同步的功耗跳变，平滑总功耗轮廓。延迟量通过nsys报告的warp总数进行解析估计。

主要研究结果

首先，LLM功耗振荡剖析表明，LLM内核执行在兆赫兹频段持续产生内核内功耗振荡，该频段与典型GPU PDN谐振频段严重重叠，这构成了真实LLM推理运行中的普遍可靠性威胁。

其次，针对电压跌落特性，研究发现：在非谐振频率10 kHz下，约100W的功耗波动仅引起45-80 mV的电压跌落；而在35 MHz谐振频率下，仅10W的功耗波动即可引起超过105 mV的电压跌落，且跌落幅度随振荡周期逐步升级，显示了破坏性的共振放大效应。真实LLM的GEMM内核产生了最大的电压跌落：DeepSeek-R1的跌落范围为45至103 mV，Gemma3为55至120 mV；逐元素核跌落范围较大（20-105 mV）；归约核跌落最小。而生成的应力负载在谐振频率下产生的电压跌落约比真实LLM核大2倍（100至250 mV）。关键的是，真实LLM中超过100 mV临界阈值的核每次推理出现两次，说明共振引起的电压不稳定是反复出现的生产级可靠性威胁，而非罕见边缘案例。

结果还揭示了指令模式对振荡幅度的影响：包含最多矩阵乘累加（MMA）指令的应力负载Sa显示出最大功耗振荡，而指令间密集打包MMA、消除全局内存访问（其延迟400-600周期超过目标振荡周期且引入时间不规则性）是产生精确高频振荡的关键。硬件验证通过监测线程同步百分比发现：在47 MHz附近共振条件下，线程同步率急剧下降至20%以下，表明GPU保护机制被触发；但即便保护机制激活，共振频率下最初3-5个振荡周期仍产生超过100 mV的瞬时电压跌落。

第三，warp级交错执行在TF32 GEMM核、分组GEMM核和端到端Gemma3推理（vLLM集成定制CUTLASS库）中均验证了电压跌落缓解效果。TF32 GEMM最大降低约20%（例如1024×1024×1024 GEMM从约70 mV降至50 mV）；分组GEMM更显著，从约100 mV降至60 mV。运行时开销远低于解析上界（约占总核运行时间的0.7%），性能影响可忽略。

结论与研究价值

本研究首次系统性地建立了LLM-PDN共振与GPU可靠性之间的联系，并提供了首个可控的GPU di/dt压力测试生成框架及实用的warp级交错缓解技术。科学价值在于揭示了即便在谐振频率附近（而非完全相等）运行的真实LLM核也能产生超过100 mV的电压跌落，证明该问题不是理论上的极端情况而是实际部署中的普遍风险。应用价值体现在该技术可在不降低计算吞吐量的前提下将最坏情况电压跌落降低约20%，对于数据中心规模下的电压裕量设计和运营成本具有直接意义。未来工作可扩展至基于直接探针的硬件功耗测量与更多样化的LLM架构剖析。