作者：Rodrigo Silva Rezende, Albert Piwonski, Rolf Schuhmann 机构：电磁理论研究所，柏林工业大学，德国柏林 发表：IEEE Transactions on Magnetics，具体卷期/发表年份见原文（该稿件为作者最终版本，待正式刊出）
所属科学领域：计算电磁学、科学机器学习、偏微分方程数值解。
研究背景：在电磁学及其他工程物理领域，求解偏微分方程是核心任务。传统的网格类方法，如有限元法或有限差分法，尽管精度高且收敛稳定，但其应用存在固有瓶颈：复杂的网格生成与管理耗时费力；为追求更高精度，计算成本往往呈指数级增长；在处理非线性、不连续性或多尺度问题时效率低下；在高维设置下求解反问题计算代价高昂。近年来，物理强化神经网络作为一种新兴的mesh-free求解器，展现出巨大潜力。它通过自动微分等技术将物理定律（PDE及其边界条件）编码进网络的损失函数，将偏微分方程求解转化为优化问题，能够提供连续的函数表示，从而天然规避了传统网格方法的上述难题。
研究动机与目的：然而，PINNs的部署应用面临一个主要瓶颈：针对具体问题和目标误差容限，选择其最优超参数的过程极为繁琐且缺乏系统性指导。超参数（如网络深度、宽度、激活函数、学习率策略等）的选择直接决定了PINNs的训练效率与最终精度。现有超参数优化方法，如网格搜索、随机搜索或基于代理模型（如高斯过程）的引导搜索，在应用于PINNs时，各有显著缺陷。网格搜索虽完备但计算效率低下；随机搜索在高维空间更高效但结果方差大、可靠性不稳定；基于代理模型的搜索则受限于代理模型在高维空间建模的准确性及其自身对初始采样和数据量的依赖。
因此，本研究旨在提出并系统基准测试一种专门用于PINNs超参数调优的新型混合策略，以期在计算效率和结果可靠性之间取得更优的平衡，加速PINNs在电磁等问题上的实际应用。
本研究的工作流程主要包含三个核心环节：1) 问题定义与PINNs框架构建；2) 四种超参数优化策略的算法设计与实现；3) 基于统计的基准测试与性能评估。研究对象是针对一个典型二维电磁边界值问题，以Hard Constraint PINNs框架为求解器，对其两个关键架构超参数——网络层数（L）与每层神经元数（Ni）——进行优化。
1. 基准问题定义与HPINNs框架： 为构建一个可控的测试环境，研究选取了一个具有解析解/稳定解的经典电磁问题：二维不均匀亥姆霍兹方程（用于求解纵向分量）的边值问题。计算域为一个正方形区域，介质为真空，边界设为理想电导体条件。在计算域中心一个小圆形区域内施加给定的源。该问题具有狄利克雷边界条件。研究采用Hard Constraint PINNs来求解此问题，其核心思想是构造一个满足边界条件的神经网络ansatz。具体形式为，其中是神经网络的原始输出，是一个手工构造的截断函数，它在计算域内部近似为1，在边界上强制为0，从而确保无论网络的输出如何，整个ansatz在边界上严格满足边界条件。损失函数由PDE残差的均方误差构成。网络的激活函数、参数初始化方式、优化器等设置为固定值，仅将层数L和每层宽度Ni作为待优化的超参数。
2. 超参数优化策略： 研究详细设计并实现了四种超参数优化策略进行对比： * 算法1: 网格搜索：在给定的L和Ni的搜索范围内，穷举所有可能的组合。对每种组合，构造HPINN、训练、并记录其训练损失和验证损失。一旦找到满足预设容限的组合即停止。该方法逻辑简单、结果确定性强，但计算成本随参数维度增长而爆炸式增加，且会大量搜索对最终损失影响微乎其微的参数区域，效率低下。 * 算法2: 随机搜索：不从预定义的网格中选取，而是独立地从超参数空间中进行固定次数（ncalls）的随机采样。每次采样后，同样进行模型构建、训练和评估。若在ncalls次尝试内找到可行解则提前终止。其优势在于，在高维空间中，它能以更高的概率探索到对性能有实质性影响的参数维度，避免了在无效维度上的冗余计算。然而，由于其纯随机性，不同运行间找到解所需时间差异巨大，方差高，可靠性不稳定。 * 算法3: 混合随机网格搜索（本研究提出）：该方法结合了网格搜索的系统性和随机搜索的效率。其核心思想是进行分阶段的、搜索范围逐步扩展的随机采样。算法初始化后，在ncalls个阶段内，每个阶段定义一个当前允许的搜索子区间（矩形区域），该子区间从最小范围开始，随阶段编号逐步扩大至整个搜索范围。在每个阶段内，进行m次（m较小，研究中设为2）随机采样和评估。这种设计实现了多重目标：初期聚焦于简单（即层数少、宽度小）的模型进行快速尝试；如果最优解确实是简单模型，则可被迅速找到；即使最优解是复杂模型，由于每个阶段采样次数少，搜索边界会快速扩张，能较高效地触及复杂模型区域；同时，它保持了网格搜索按复杂度递增的探索顺序，但通过随机采样避免了在每个复杂度级别上的穷举，大幅提升了效率。其结构化的推进方式也使得搜索结果比纯随机搜索具有更低的时间方差和更高的可靠性。 * 算法4: 基于高斯过程代理模型的引导搜索：该方法利用已有评估结果构建一个高斯过程模型来近似损失函数关于超参数的响应面。初始时随机采样一个点进行评估，之后在每次迭代中，基于当前GP模型和一个采集函数（如期望改进）来选择下一个最有可能提升性能的超参数点进行评估，并更新GP模型。该方法旨在以更少的评估次数找到最优解。但其性能严重依赖于GP模型对高维、非平滑损失地貌的建模能力，并且需要一定数量的初始评估才能开始有效引导。
所有算法均使用Python实现，PINNs的构建与训练基于DeepXDE 1.13.1库完成。研究设置了统一的搜索空间：L∈[2,8]，Ni∈[50,150]。收敛标准定义为训练损失<1e-5且验证损失<5e-5。
3. 统计基准测试流程： 为公平、可信地比较四种策略的性能，研究设计并执行了一个统计基准测试流程（算法5）。该流程初始化问题数据集，并为四种方法分别创建空的耗时记录列表。随后，进行nruns（研究中为50）次独立运行。在每次运行中，依次调用四种优化策略（网格、随机、混合、GP），每个策略被赋予相同的计算预算（ncalls=20次函数评估），并记录其找到满足收敛标准的解所花费的wall-clock时间。最后，汇总所有运行的时间数据，计算每种方法的平均耗时及方差，并通过箱形图进行可视化比较。所有实验在一台配置为Intel i7-8700K处理器、32GB内存的计算机上进行。
1. 超参数优化效率与可靠性对比： 基准测试的结果清晰展示了四种方法的性能差异。图1（原文中的箱形图）直观呈现了统计结果： * 网格搜索：中位调优时间最长（约1280秒），但其时间方差近乎为零，表现出极高的可重复性与一致性。这印证了其完备但计算代价高的特性。 * 随机搜索：中位时间（约790秒）显著优于网格搜索，但其时间分布范围极广，从最快约360秒到最慢约1620秒，方差非常大。这体现了其高效但可靠性不稳定的特点。 * 混合随机网格搜索：在所有方法中取得了最佳的综合表现。其中位调优时间最短（约180秒），效率最高。同时，其时间分布的箱体紧密，方差很小，表现出良好的稳定性和可靠性。 * 基于GP的搜索：其中位时间（约905秒）长于随机搜索和混合搜索，短于网格搜索。其时间方差介于随机搜索与混合搜索之间，属于中等水平。
2. 搜索行为可视化分析： 为深入理解混合方法与GP方法的行为差异，研究绘制了在最后一次基准测试运行中，两种方法在超参数空间内的探索轨迹图。图的背景颜色反映了不同（L，Ni）组合下训练一个PINN所需的时间（绿色区域代表训练快，红色区域代表训练慢）。蓝点及编号表示算法尝试过的架构及其顺序。 * GP方法：其采样点分布广泛且看起来随机，既尝试了训练快速的简单模型，也大量探索了训练耗时的复杂模型。这种“跳跃式”的探索是其时间方差较大的直接原因。 * 混合方法：其采样点清晰地呈现出“由简入繁、聚焦高效区域”的模式。初期采样点集中在左下角的绿色快速区域，随后随着阶段推进，采样区域逐步向右上方向扩展。在整个过程中，大部分采样点仍落在训练时间相对较低的区域。这表明混合方法有效地将计算资源集中在有希望的参数空间，既避免了网格搜索在低潜力区域的冗余计算，又通过结构化的扩展规避了纯随机搜索的盲目性，从而实现了效率与可靠性的双赢。
3. 最终求解精度验证： 研究进一步使用四种方法在最后一次运行中找到的“最优”超参数（混合方法：L=4，Ni=60；GP方法：L=4，Ni=138），重新训练HPINN以获取最终场解。通过计算磁场的Hx分量，并与一个高精度有限差分参考解进行对比（见图3和表II）。所有四种方法得到的解都与参考解高度吻合，其Hx分量的L2范数误差均在1e-4量级或更低。这表明，尽管四种方法的调优效率差异巨大，但只要找到满足收敛准则的超参数，它们都能得到高精度的物理解。表II同时汇总了平均调优时间和最终误差，再次强调了混合方法在耗时上的显著优势。
本研究的核心结论是：针对物理学强化神经网络（PINNs）的超参数优化问题，所提出的混合随机网格搜索方法在效率、经济性和可靠性方面均优于传统的网格搜索、纯随机搜索以及基于高斯过程代理模型的引导搜索方法。
该方法通过分阶段、逐步扩大搜索范围的随机采样，巧妙地将网格搜索的系统性序贯探索与随机搜索的高效率相结合。其设计保证了搜索从简单模型开始，快速锁定潜在解，同时避免了在非关键参数维度上的资源浪费。基准测试结果证实，该策略不仅获得了最短的中位调优时间，而且具有最小的结果时间方差，从而提供了更稳定、可预测的优化性能。
最终求解验证表明，使用该方法寻优得到的PINNs架构，能够在保证与传统方法同等高求解精度的前提下，大幅缩短模型开发与调试所需的前期计算时间。这为PINNs在计算电磁学乃至更广泛的科学计算工程问题中的实际应用与部署，扫除了一个关键障碍。
本研究构建的测试范例（二维亥姆霍兹方程边值问题+Hard Constraint PINNs框架）本身是一个良好定义、可复现的基准，可用于后续其他超参数优化或PINNs改进算法的性能对比。
此外，研究中对各种搜索策略行为模式的可视化分析，为理解超参数优化算法如何在损失地貌（landscape）上进行探索提供了直观洞见，有助于深化对算法本身机理的认识，而不仅仅是性能比较。