本研究由韩国科学技术院（KAIST）电气工程学院的Haeseok Suh、Hyunjun An、Haeyeon Kim、Seonguk Choi、Taesoo Kim、Keeyoung Son、Keunwoo Kim、Jiwon Yoon、Byeongmok Kim、Youngsu Yoon、Jaegeun Bae和Joungho Kim共同完成，论文发表于2025年IEEE第75届电子元件与技术会议（ECTC）。该研究首次提出了一种基于深度强化学习的多芯粒（multi-chiplet）功率传输网络（Power Delivery Network, PDN）优化方法，专门针对不同芯粒同时开关电流频谱（Simultaneous Switching Current, SSC）进行去耦电容（Decoupling Capacitor, Decap）放置的协同优化。

研究的学术背景源于人工智能加速器对高带宽、高密度计算需求的快速增长。随着生成式人工智能模型规模的急剧扩大，传统二维GPU-内存系统已难以满足算力与存储带宽的要求。芯粒架构因其在同一中介层（interposer）上集成多种不同功能芯片的能力，成为提升计算性能和良率的重要方案。然而，不同芯粒之间通过高速高密度输入输出接口（I/O）互连，在功率传输网络中产生大量的同时开关电流，进而引起同时开关噪声（Simultaneous Switching Noise, SSN）。同时，为了控制功耗，供电电压不断降低，这使得功率完整性问题更加严峻。去耦电容作为局部电荷储备元件，能够有效抑制PDN中的阻抗峰值，但其放置位置的选择空间极其庞大。例如，在1000个候选位置中放置100个去耦电容，可能的组合数高达10的140次方量级。传统遗传算法和随机搜索等方法虽然能够寻优，但计算代价高且缺乏对新设计约束的快速适应能力。因此，研究团队提出利用基于Transformer模型的深度强化学习方法来高效解决这一问题。与既有研究相比，该方法的核心创新在于首次考虑了不同芯粒I/O频率差异所导致的不同电流频谱，并通过奖励函数设计使去耦电容放置能够平衡多个芯粒的不同目标阻抗需求，而非仅仅抑制总阻抗。

该研究的工作流程可以分为四个主要部分：马尔可夫决策过程（Markov Decision Process, MDP）建模、策略网络构建、近端策略优化（Proximal Policy Optimization, PPO）训练以及环境与奖励函数设计。首先，在MDP框架中，状态（state）被定义为包含三个芯粒和一个中介层的芯粒架构地图，每个芯粒上设有4个探测端口（probing port），每个芯粒有128个片上电容候选位置，共384个，中介层上有1152个电容候选位置。经过掩膜处理后，可用候选位置缩减为864个。动作（action）为选择去耦电容放置的位置。策略网络以Transformer为基础，包含编码器和解码器结构。编码器通过自注意力机制捕捉探测端口与电容候选位置之间的成对空间关系，解码器通过自回归方式依次选择电容放置位置，并在每一步将已选位置掩膜以防止重复放置。整个策略网络包含4层编码器和4层解码器，模型维度为512，注意力头数为16，前馈网络维度为2048，丢弃率为0.1。训练采用PPO算法，在2500个回合内进行学习，学习率为0.0002，更新回合数为5，裁剪参数随训练进程从0.7衰减至0.3，温度参数从5衰减至0.1。训练过程中使用了广义优势估计（Generalized Advantage Estimation, GAE）来减少价值函数估计的计算开销，并通过熵正则项鼓励探索。

环境部分通过SPICE建立等效电路模型模拟PDN行为。芯片和中介层的电源/地平面采用等效单位单元（Unit Cell, UC）模型和分割方法进行建模，芯片UC尺寸为5微米，形成600×1200的网格；中介层UC尺寸为15微米，形成300×2400的网格。UC模型通过电阻、电感、电导和电容元件的级联来等效电源/地平面。芯片与中介层之间通过凸点（bump）模型实现垂直级联，中介层通过硅通孔（Through Silicon Via, TSV）阵列与封装模型相连，封装采用集总参数模型。去耦电容的等效模型基于TSMC 65纳米工艺，电容值为1.055纳法，等效串联电阻为0.7毫欧。为了计算不同芯粒的目标阻抗，研究利用SPICE开关模型产生伪随机比特序列，并通过傅里叶变换获得频域SSC。目标阻抗由允许噪声电压（设为供电电压的5%）除以SSC频谱得到，并引入10%的设计裕量。对于每个芯粒，PDN阻抗通过对4个探测端口的自阻抗和转移阻抗求和得到。最终奖励函数定义为每个频率点上PDN阻抗超过目标阻抗的部分之和，并采用基线减法技术，即在训练初期以50个随机回合的平均奖励值作为基线，使实际奖励围绕零值波动，从而更有效地区分最优与次优动作。

在实验结果方面，研究通过与遗传算法和随机搜索进行对比验证了所提方法在最优性、可重用性和时间成本三方面的优势。在最优性验证中，所有方法均在864个候选位置中放置100个去耦电容，并计算2500次环境交互。所提方法训练完成后通过零样本推理直接生成放置方案，其阻抗曲线在大部分频率范围内均低于目标阻抗，尤其在顶部芯粒上表现尤为明显，优于遗传算法和随机搜索的结果。在可重用性验证中，研究设置了两种不同的禁布区（keep-out region）约束。禁布区1掩膜了中介层的第3列和第4列以及芯片的第2列和第3列；禁布区2随机生成了100个禁布位置。由于遗传算法不具备对新约束的记忆能力，需要重新运行完整的搜索过程，而所提方法仅需基于已训练模型进行一次推理即能适应新约束。尽管禁布区1覆盖了初始放置密集的区域，所提方法仍获得了0.7的奖励提升；在禁布区2下获得0.1的奖励提升。此外，在减少去耦电容数量的可重用性测试中，所提方法在无需额外训练的情况下，其奖励值与遗传算法经过重新迭代后的表现几乎相同。研究还测试了五种不同芯粒I/O频率组合的场景，频率范围涵盖1.6 GHz、3.2 GHz、6.4 GHz和8.0 GHz。在所有五个测试案例中，所提方法获得的奖励值均高于随机搜索和遗传算法，例如在案例3（频率3.2 GHz、8 GHz、3.2 GHz）中，所提方法奖励为-1.60，而随机搜索为-7.52，遗传算法为-4.79。在时间成本方面，所提方法在Intel Gaudi-2加速器上完成训练需要3.5小时，但训练完成后的推理仅需5秒；而遗传算法和随机搜索每次面对新的频率组合或设计约束都需要重新运行约2小时的完整迭代过程。这验证了所提方法在实际设计流程中能够显著降低反复优化所需的时间开销。

本研究的结论是：基于Transformer模型与PPO算法相结合的多芯粒PDN优化方法能够有效捕捉去耦电容位置与探测端口之间的空间关系，并在考虑不同芯粒I/O电流频谱的情况下实现更优的去耦电容放置策略。该方法不仅在阻抗抑制效果上优于遗传算法和随机搜索，还具备出色的可重用性，能够在禁布区和可用电容数量发生变化时避免重新训练，从而大幅降低设计时间成本。研究的科学价值在于首次将不同芯粒的频域SSC引入深度强化学习的奖励建模中，突破了以往仅关注单一I/O域均匀SSC的局限。其应用价值体现在为高性能人工智能加速器芯片的功率完整性设计提供了一种可扩展、可复用的自动化优化工具。研究的亮点包括：将Transformer注意力机制引入PDN优化问题、采用带基线减法的奖励函数设计以及通过单元级联方法构建大规模PDN等效模型。论文在讨论中还指出当前方法的局限性，如对100个以上去耦电容数量的可扩展性未经验证、芯粒数量固定为三个且位置不可变、去耦电容类型单一等，并提出了引入模仿学习以应对大规模动作空间挑战的未来方向。