本文为单一原创研究论文，以下按学术报告形式进行介绍。

本研究由Haeseok Suh、Hyunjun An、Haeyeon Kim、Seonguk Choi、Taesoo Kim、Keeyoung Son、Keunwoo Kim、Jiwon Yoon、Byeongmok Kim、Youngsu Yoon、Jaegeun Bae和Joungho Kim共同完成，作者均来自韩国科学技术院（Korea Advanced Institute of Science and Technology, KAIST）电气工程系。论文发表于2025年IEEE第75届电子元器件与技术会议（IEEE 75th Electronic Components and Technology Conference, ECTC），收录于会议论文集中。

本研究的学术背景聚焦于高性能人工智能加速器的电源完整性问题。随着生成式人工智能模型参数量的指数级增长，传统二维GPU与高带宽存储器（High Bandwidth Memory, HBM）系统已难以满足计算需求。Chiplet架构通过在单一中介层（interposer）上集成多种不同功能的芯片，提供了更高的互连带宽和更好的良率，成为人工智能计算的重要解决方案。然而，不同chiplet之间的高速、高密度输入输出（I/O）会产生大量的同时开关电流（Simultaneous Switching Current, SSC），当该电流流经电源分配网络（Power Delivery Network, PDN）时会产生同时开关噪声（Simultaneous Switching Noise, SSN）。同时，由于供电电压不断降低，PDN的噪声裕量进一步减小，因此稳定的PDN设计成为高性能chiplet系统的主要挑战之一。去耦电容（decoupling capacitor, decap）是抑制PDN阻抗峰值的有效手段，但由于decap可以放置在芯片、中介层或封装上，其组合空间极大。例如从1000个候选位置中放置100个decap，存在约10的140次方种组合，传统方法难以高效求解。此前已有研究利用基于Transformer模型的强化学习进行decap放置，但这些工作仅考虑了单一I/O频率和单一供电电压，未考虑不同chiplet具有不同SSC频谱的情况，也未考虑实际设计过程中禁布区域（keep-out region）变化对优化的影响。因此，本研究首次提出了考虑多chiplet电流频谱的、基于深度强化学习的PDN与decap放置协同优化方法。

研究的工作流程围绕强化学习框架展开。首先，作者将decap放置问题建模为马尔可夫决策过程（Markov Decision Process, MDP）。其中状态（state）由chiplet架构地图构成，包括三个chiplet和中介层。每个chiplet设有4个探测端口（probing port），共12个探测端口；每个chiplet有128个片上decap候选端口，中介层共有1152个decap候选端口。通过对部分列和右侧一半区域进行掩膜，候选数量减少到864个。策略网络（policy network）采用Transformer模型，利用自注意力机制捕捉探测端口与decap候选位置之间的关系。解码器以自回归方式逐个选择decap位置，每一步通过softmax分布从候选位置中选择概率最高的位置，并掩蔽已选位置以避免重复放置。训练算法采用近端策略优化（Proximal Policy Optimization, PPO）。PPO通过截断目标函数限制策略更新幅度，使用广义优势估计（Generalized Advantage Estimation, GAE）平衡蒙特卡洛估计与值函数估计，并引入熵损失项鼓励探索。奖励函数的设计是本研究的关键之一。PDN阻抗zpdn通过式(8)计算，即单个chiplet的4个探测端口的自阻抗与转移阻抗之和。目标阻抗ztarget由SSC频谱和允许噪声电压决定，允许噪声电压设为供电电压的5%，并额外保留10%设计裕量。奖励值为阻抗超过目标阻抗部分的负值，并减去基线值。基线值通过50次随机episode的平均结果确定，使奖励值围绕零分布，从而提升训练稳定性并避免局部最优。在PDN建模方面，芯片和中介层的电源/地平面采用等效单元胞（unit cell, UC）方法建模。芯片平面使用5微米网格单元胞，中介层平面使用15微米网格单元胞。PDN模型由芯片电源/地平面、凸点阵列模型、中介层电源/地平面、TSV阵列模型和集总封装模型级联而成。decap的容值为1.055 nF，等效串联电阻为0.7 mΩ。目标阻抗通过SPICE仿真得到，使用伪随机比特序列（Pseudo Random Bit Sequence, PRBS）输入开关模型，经傅里叶变换得到频域SSC，再转换为目标阻抗。

研究的主要结果包括最优性、可重用性和时间成本三个方面。在最优性方面，训练过程共进行2500个episode，奖励值在约2100个episode后收敛。在相同条件下，即864个候选位置中放置100个decap时，所提方法的PDN阻抗明显低于目标阻抗，并且优于遗传算法（Genetic Algorithm, GA）和随机搜索（Random Search, RS）。例如，在表II所示的五种不同chiplet I/O频率组合中，所提方法仅需一次推理即可获得高于GA和RS的奖励值。在可重用性方面，当引入禁布区域时，GA需要重新迭代优化，而所提方法仅通过推理即可适应新约束。在3rd和4th列被禁布的keep-out 1场景下，所提方法的奖励值比GA提升0.7；在随机禁布100个位置的keep-out 2场景下，奖励值提升0.1。当decap数量从100个减少时，所提方法无需重新训练即可保持几乎相同的性能，而GA则需要额外迭代。在时间成本方面，训练阶段耗时约3.5小时，但训练完成后推理仅需5秒；而GA和RS每次在新场景下需要约2小时重新迭代，因为每次奖励计算需要约3秒。所有训练和推理均在Intel Gaudi-2加速器上完成。这些结果表明，所提方法不仅能够在多chiplet不同SSC条件下有效抑制PDN阻抗，还具备良好的跨设计约束适应能力，并显著降低了重复设计的时间开销。

本研究的结论指出，基于Transformer模型与PPO算法相结合的多chiplet PDN优化方法，能够有效捕捉decap位置与探测端口之间的关系，形成可重用且最优的decap放置策略。该方法在不同chiplet频率、不同禁布区域和不同decap数量条件下均展现出比随机搜索和遗传算法更优的性能、可重用性和时间效率。在人工智能加速器市场快速增长的背景下，多种采用多chiplet架构的加速器不断涌现。本研究方法旨在为不同chiplet频率和不同设计约束下的PDN优化提供支持，从而确保系统的电源完整性。其科学价值在于将强化学习与多频率SSC感知的PDN建模相结合，提出了考虑chiplet差异化的奖励函数和训练策略；其应用价值在于为实际芯片设计中频繁变化的设计约束提供了一种低时间成本的优化方案，避免了重复设计带来的巨大开销。

本研究的亮点主要体现在三个方面。第一，首次在基于强化学习的decap放置中引入了不同chiplet的同时开关电流频谱，使得优化目标从单纯抑制阻抗转变为在多个chiplet之间平衡分配decap以满足不同目标阻抗。第二，利用Transformer模型的自注意力机制有效建模了探测端口与decap候选位置之间的空间关系，使得策略网络能够在大规模离散动作空间中做出合理决策。第三，所提出的方法具有显著的可重用性优势，在禁布区域或decap数量变化时无需重新训练，仅通过推理即可快速适应新设计约束，这在工程实践中具有重要价值。此外，论文还讨论了当前方法的局限性，包括策略网络对超过100个decap的扩展性未经验证、chiplet数量固定为三个且位置固定、decap类型单一等问题，并指出未来可以通过模仿学习等方法进一步提升大规模动作空间条件下强化学习的训练稳定性。