本文提出了一种基于Transformer架构与强化学习（Reinforcement Learning, RL）的去耦电容器（Decoupling Capacitor, Decap）优化方法，用于版图后电源分配网络（Power Distribution Network, PDN）设计。该研究由密苏里科技大学电磁兼容实验室的Haran Manoharan、Chulsoon Hwang以及Google公司的Hanfeng Wang共同完成，发表于《IEEE Transactions on Signal and Power Integrity》2026年第5卷。该研究面向高性能集成电路与系统中PDN阻抗优化的核心问题，旨在克服传统启发式算法与既有机器学习方法在泛化性、可扩展性与计算效率方面的不足，提出一种可快速适应任意端口数量、任意候选电容器库以及不同目标阻抗要求的序列化Decap放置框架。
研究背景方面，去耦电容器优化在现代高速电子系统设计中具有关键作用。PDN需要为集成电路提供稳定的供电电压，抑制因瞬态电流引起的电压波动，并在目标频段内将输入阻抗控制在规定值以下。Decap通过提供局部电荷存储来降低阻抗峰值，但实际设计中Decap的数量受到制造成本、PCB面积和功耗等因素的约束。因此，Decap优化本质上是一个需要在阻抗抑制效果与器件使用数量之间取得平衡的组合优化问题。由于候选端口和电容器种类众多，搜索空间随端口数量呈指数增长，穷举法在实际工程中不可行。已有方法如Q学习、深度强化学习、遗传算法（Genetic Algorithm, GA）以及若干基于Transformer的模型虽然在一定程度上提升了优化效率，但普遍存在泛化性差、需对特定板卡重新训练或无法显式满足频域目标阻抗约束等局限。本文的研究目标正是建立一种目标驱动、可泛化且计算高效的Decap优化策略。
在方法层面，该研究构建了一个由端口编码器、阻抗偏差编码器、候选电容器编码器以及Transformer解码器组成的策略网络。端口编码器基于端口环路电感（Loop Inductance）特征生成128维嵌入向量。环路电感的计算方式为：将某个Decap端口对地短路，然后观察IC端口处的自阻抗，以此衡量该端口对IC供电回路的影响。电感越低表示该位置越适合放置Decap。在计算过程中，系统会按顺序选择电感最低的端口并固定为短路状态，更新阻抗矩阵后重新评估剩余端口，从而形成动态的端口优先级排序。该过程无需依赖几何布局信息，仅从阻抗矩阵中提取电气特征，因此对板卡拓扑变化具有较好的鲁棒性。候选电容器编码器将电容值、等效串联电感（ESL）、等效串联电阻（ESR）和封装尺寸等四维特征映射到与端口嵌入相同的潜在空间。阻抗偏差编码器则将当前阻抗与目标阻抗的差值向量压缩为紧凑表示，用于感知系统当前的违规状态。Transformer解码器在每个时间步接收端口嵌入与阻抗偏差嵌入的加和，通过缩放点积注意力机制计算与各候选电容器的兼容性分数，并利用softmax输出概率分布。对于封装尺寸不匹配的电容器，在softmax前进行掩码处理，确保只考虑物理上可实现的组合。选定电容器后，采用Z参数矩阵更新公式将电容器的电气影响即时反映到PDN模型中，并重新计算阻抗偏差，以此驱动下一步决策。对于多IC端口场景，研究通过分别计算每个Decap端口相对于各IC端口的环路电感并取平均值，生成聚合的端口电气强度；阻抗偏差也按各IC端口分别计算后聚合，输入偏差编码器。这种设计使模型能够同时优化多个IC端口的阻抗性能。
训练阶段使用REINFORCE策略梯度算法，并引入价值网络作为基线以降低梯度估计方差。训练数据由随机生成的板卡阻抗矩阵构成，端口数量在25至75之间，候选电容器库包含超过1000种来自实际厂商数据库的元件，覆盖0201、0402、0603等封装尺寸。目标阻抗在1 mΩ至1 Ω之间随机采样，包括平坦电阻型目标与频变RL型目标。奖励函数的设计充分考虑了目标满足与电容数量最小化之间的权衡。若最终阻抗在所有频点均低于目标值，奖励由基础奖励减去电容惩罚组成；若存在任何频点违规，则在电容惩罚基础上再扣除基于偏差平方和的违规惩罚。目标难度因子由平均目标阻抗的倒数决定，使得更严格的目标允许使用更多电容，而宽松目标下多余电容会受到更强惩罚。训练约耗时24小时，使用NVIDIA RTX 4090 GPU以及128 GB系统内存。
验证实验分为泛化性与可扩展性测试以及与前人方法的比较两部分。在泛化性与可扩展性测试中，研究构建了八个独立验证案例，分别对应约10个、50个和150个候选Decap端口的小、中、大三种规模PDN。所有案例的板卡拓扑、目标阻抗以及电容器库均未出现在训练集中。实验比较了贪心解码、Top-k路径解码和随机采样三种推理策略，并将其与增强型遗传算法GA v3进行对比。结果表明，在小规模和中等规模PDN中，贪心解码已经能够获得与Top-k解码和随机采样相同的Decap数量，且推理时间小于一秒；GA v3虽偶尔获得相当的Decap数量，但计算时间显著更长。在150端口的大规模PDN中，Top-k解码在部分案例中比贪心解码少用1至2个电容，这表明在高度组合化的空间中保持少量高概率路径有助于避免局部最优。随机采样虽然偶尔也能改善结果，但推理时间显著增加。整体上，所提方法在保证解质量的同时，计算效率比GA v3高出数个数量级。
与前人工作的比较部分，研究使用了DevFormer和一种基于Transformer的强化学习方法所提供的公开数据集。由于这些方法都在固定Decap预算下进行阻抗最小化，而并未显式约束目标阻抗，本研究采用统一评价方式：先由所提方法确定满足目标所需的最小Decap数量，再将相同预算分配给参考方法进行放置，最后比较最终阻抗曲线是否满足目标。在DevFormer的数据集上，所提方法以8个Decap满足目标阻抗，而DevFormer在相同预算下虽然降低了阻抗，但未能满足目标。在另一项包含4个IC端口的数据集上，所提方法以20个Decap同时满足所有端口的目标阻抗，而参考的Transformer强化学习方法在多个端口仍存在频段违规。这些结果表明，显式将目标阻抗信息纳入序列决策过程，是保证目标约束满足的关键。
研究结论指出，该方法能够在版图完成后直接基于PDN的完整阻抗矩阵进行物理信息引导的Decap分配，兼顾全局协调与局部决策。通过环路电感与阻抗偏差的双重嵌入，模型可以在不依赖几何信息的条件下理解端口电气重要性及系统偏差状态，从而在目标约束下实现最小化电容使用。验证结果证明了其在未知板卡、未知电容器库以及多IC端口场景下的泛化能力和可扩展性。与遗传算法及已有Transformer方法的比较进一步表明，该方法在保持目标满足性的同时显著降低了计算时间，具有实际工程应用的潜力。
本研究的亮点在于：提出了基于环路电感排序和阻抗偏差驱动的序列化注意力机制，将物理信息与Transformer架构有机结合；利用强化学习使策略能够动态权衡阻抗满足与电容数量；通过掩码机制保证封装尺寸兼容性；支持多IC端口聚合决策；并在推理阶段支持贪心、Top-k和随机采样等多种解码策略，满足不同精度与延迟需求的工程设计场景。整体上，该研究为版图后PDN Decap优化提供了一种高效、可泛化且目标驱动的解决方案，对高速数字系统电源完整性设计具有重要的理论与实践价值。