本文的主要作者包括Junho Park、Seonguk Choi、Inyoung Choi、Gwantaek Lee、Jiwon Yoon、Junghyun Lee、Youngsu Yoon、Byeongmok Kim、Jaegeun Bae、Chulhee Cho、Jinwook Song以及Joungho Kim。研究团队来自韩国科学技术院（KAIST）电气工程学院，以及三星电子存储器事业部的解决方案开发团队。该论文发表于2026年IEEE第76届电子元件与技术会议（2026 IEEE 76th Electronic Components and Technology Conference, ECTC），DOI为10.1109/ectc51846.2026.00162。
本研究属于电子设计自动化（Electronic Design Automation, EDA）与电源分配网络（Power Distribution Network, PDN）优化领域，核心聚焦于人工智能加速器印刷电路板（Printed Circuit Board, PCB）设计中的直流电阻（DC Resistance, DCR）与电压降（IR Drop）优化问题。随着大语言模型和多模态人工智能的快速发展，现代加速器系统正朝着异质集成方向演进，在单一封装或板卡内集成了HBM、LPDDR、CXL等多种存储器层级。这种异质集成不可避免地带来多样的电压等级和复杂的供电需求，导致必须在有限的PCB面积内严格管理大量电源域（Power Domain）。
AI加速器通常消耗数十至数百安培的电流，使IR Drop成为电压裕度的主导约束条件。由于直流电压完整性本质上受PDN金属平面几何布局的制约，直流布局设计成为主要可靠性瓶颈。然而PCB上的布线资源有限，优化某一电源域的DCR往往需要扩大其铜面积，从而压缩相邻电源域的可用空间。传统方法采用顺序优化策略，即依次一个一个地优化各电源域，这容易导致“贪婪失效”（Greedy Failure）——先优化的电源域占用过多资源，使后续电源域无法满足供电要求。虽然已有研究将强化学习应用于PDN布局优化，但均采用固定顺序逐域优化，Voronoi分区方法虽然能够高效划分空间，却缺乏多域同时协作扩展的能力。
本研究旨在提出一种基于深度协调图（Deep Coordination Graph, DCG）的物理信息驱动的分层多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）框架，实现异质AI加速器PCB设计中多电源域PDN的同步优化，从而克服传统顺序设计的贪婪失效问题。
本研究提出了一个分层两阶段框架，将全局路径规划与局部形状优化解耦。第一阶段为初始化阶段，第二阶段为基于DCG的MARL优化阶段。这种策略通过逐步缩小搜索空间来保证学习效率和物理可行性。
初始化阶段的核心目标是建立物理稳健的起点并为每个电源域定义边界。框架首先使用最小生成树（Minimum Spanning Tree, MST）算法和A*算法生成“布线骨架”（Routing Skeleton），在单个电源域内以最短路径连接所有源引脚和汇引脚。为处理路径重叠导致的空间冲突，系统采用基于优先级的顺序布线流程：具有更高物理需求（如更严格的DCR目标或更大电流需求）的电源域优先布线，低优先级电源域则绕过已占用单元进行绕行。
骨架建立后，应用基于Voronoi的空间分区方法约束每个电源域的扩展区域。生成的布线骨架作为Voronoi图的种子，所有PCB网格中的空白单元被分配给最近的骨架。为反映不同电源域的不同物理需求，系统整合了物理信息加权机制——对具有严格电阻要求或难以达到目标DCR的电源域赋予更高权重，减小其到空白单元的有效距离，使关键电源域获得更大的空间扩展余量。这种空间划分将交互复杂度从全局O(n²)降低到局部O(n)规模，共享边界成为第二阶段稀疏协调图的边。
1. 物理信息驱动的马尔可夫决策过程（Markov Decision Process, MDP）建模
多域PDN优化被建模为合作型多智能体任务。状态空间设计具有局部化特征，包括：DCR比率（当前DCR与目标DCR的比值）、达成标志（二值指示是否已满足目标DCR）、IR Drop热点坐标（通过节点分析提取电压降最严重的前5个瓶颈位置，坐标归一化至[0,1]范围）、以及Voronoi区域信息（指示热点周围单元属于自身区域、边界还是其他电源域）。
动作空间围绕已识别的IR Drop热点构建。每个智能体选择K个观测热点中的一个，并尝试在六个方向之一扩展，或选择“无操作”（NOOP）。这产生了|ai| = 6K + 1的可管理动作空间，其中K=5，即31个可能动作。有效动作掩码被用来屏蔽不可能的动作（如超出PCB边界）。
奖励函数结合了逐步改进和达成奖励，公式为：rt = λ(DCR{t-1} - DCR_t) + b_t，其中λ=3.0为缩放因子，b_t仅在首次满足目标DCR时设为r_bonus=5.0，总奖励裁剪至[-5.0, 15.0]范围。
2. 物理信息反馈回路
框架将节点分析（Nodal Analysis）求解器直接集成到智能体学习回路中。每一步优化过程通过求解线性系统GV=I计算精确的DCR——其中G为电导矩阵（以稀疏矩阵实现以提高计算效率）、V为节点电压向量、I为电流源向量。实时电气反馈作为主要奖励信号，使智能体能够基于实际物理现象（如电阻瓶颈）优化布局。
3. 深度协调图的构建与学习
协调图将每个电源域映射为节点v_i，共享Voronoi边界转换为边e_ij。边界特征包括边界坐标、骨架距离以及动态特征（如DCR达成差异）。全局动作-价值函数被分解为个体效用项（一元项）和成对交互效用项（成对项）：
Q_tot(s, a) = Σ f_i(s_i, a_i) + Σ g_ij(s_i, s_j, e_ij, a_i, a_j)
深度学习采用参数共享网络：一元Q网络估计个体效用f_i，成对Q网络以相邻两智能体的局部状态和边特征为输入估计合作效用g_ij，均为三层多层感知机（Multi-Layer Perceptron, MLP）。训练遵循集中训练方案，使用ε-greedy策略（ε从1.0衰减至0.1）平衡探索与利用，通过重放缓冲区采样小批量数据最小化时序差分误差更新网络权重，独立目标网络每10步进行软更新（τ=0.01）。
推理阶段采用去中心化执行方案，智能体仅通过max-plus算法沿协调图边进行局部消息传递。消息更新规则为：μ_{i→j}(aj) = max{a_i} {f_i(s_i, a_i) + g_ij(s_i, s_j, e_ij, a_i, aj) + Σ{k∈n(i)\j} μ_{k→i}(a_i)}。该过程仅通过局部信息交换实现全局最优收敛。
仿真环境将PCB离散化为25×25网格，具有两层金属层，单元尺寸0.5 mm，对应总面积12.5×12.5 mm²。采用了代表性薄层电阻0.5 mΩ/sq（近似标准1 oz铜材料特性），过孔电阻建模为0.5 mΩ。实验场景涉及同时优化两个电源域，每个电源域含一个VRM源引脚和一个SoC汇引脚，优化目标为达到初始值65%的目标DCR。模型在3,000个回合中训练，每回合开始时引脚位置随机化。测试集包含23个未见配置。对比基线包括随机搜索（RS）和遗传算法（GA），NFE预算限制为500，另设GA-1000（1,000 NFE）作为扩展计算预算参考。
所提出的DCG智能体在3,000个回合内表现出良好的学习稳定性。平均损失初始约为0.3，约500个回合后迅速收敛至0.1-0.15范围并保持稳定至训练结束。该收敛趋势与探索率下降阶段相吻合，表明智能体行为开始呈现一致性，重放缓冲区和目标网络有效缓解了数据相关性和目标不稳定性。
在23个未见测试配置上的四次重复实验中，所提出的RL模型实现了82.6%的一致成功率，证明了学习策略的鲁棒性。随机搜索（NFE=500）平均成功率为76.4%，但表现出69.6%-82.6%的显著方差，表明可靠度较低。GA在公平比较条件下（GA-500）仅记录了40.6%的成功率；即便计算预算加倍（GA-1000），成功率也仅提升至59.4%，仍显著低于RL方法。这表明GA的性能没有随计算预算增加而成比例提升。
RL方法的每配置平均计算时间最短，为4.10秒；随机搜索为4.92秒。相比之下，GA在NFE=500时需约2,157秒，NFE=1,000时需4,475秒。RL实现更高成功率的同时，比GA-1000快超过1,000倍。
本论文提出了一种基于深度协调图的分层MARL框架，用于异质AI加速器中的多电源域PDN同步优化。该框架通过智能体间显式协调，克服了传统顺序方法的贪婪失效问题，使所有电源域能够同时满足其DCR目标。在23个未见测试场景的验证中，所提模型实现82.6%成功率，优于随机搜索的76.4%以及GA-1000的59.4%，同时比GA实现超过1,000倍加速。这些结果证实了该框架作为下一代高密度系统实时PDN设计自动化高效解决方案的实用可行性。科学价值体现在提出了物理信息驱动的协调图MARL新范式；应用价值在于为AI驱动的高密度系统布局优化提供了可落地的高效工具。
本研究的核心亮点在于三个方面：其一，创新性地将深度协调图与物理信息反馈结合，通过值分解实现全局优化目标的高效近似；其二，两阶段分层设计将全局路径规划与局部形状优化解耦，大幅缩减搜索空间的同时保证物理可行性；其三，实验证明即便在计算预算远小于GA的条件下仍获得更高成功率，展示了显著的效率优势。稀疏图结构也为未来扩展到更多电源域的高密度PCB环境提供了结构性基础。