清华大学软件学院的Haixu Wu、Huakun Luo、Yuezhou Ma、Jianmin Wang和Mingsheng Long团队在NeurIPS 2024上发表了一项关于物理信息神经网络（Pinns）优化方法的重要研究。该研究提出了一种名为”区域优化物理信息神经网络”（Region Optimized Physics-Informed Neural Networks，RoPINN）的新训练范式，有效解决了传统点优化方法在求解偏微分方程中的局限性。
物理信息神经网络（Physics-Informed Neural Networks，Pinns）近年来已成为求解偏微分方程（Partial Differential Equations，PDEs）的有力工具。Pinns通过强制神经网络的输出和梯度满足目标方程来求解PDEs。然而，受数值计算限制，传统的Pinns通常在有限的采样点上进行优化，这与PDE在连续域上定义的本质存在方法学上的不匹配。
这项研究基于两个关键观察：首先，传统的点优化方法可能导致泛化误差；其次，现有改进方法如高阶正则化或变分公式存在计算成本高或实现复杂的问题。因此，研究团队提出了区域优化范式，将优化过程从孤立的点扩展到其连续邻域区域，理论上能降低泛化误差，特别是对PDEs隐含的高阶约束。
研究首先定义了区域优化损失函数： l_{region}^r(uθ,S) = 1/|S| Σ{x∈S}[1/|ωr| ∫{ξ∈ω_r}l(u_θ,x+ξ)dξ]
其中ω_r表示扩展的邻域区域，r为超参数。该方法通过积分操作扩展了点优化的范围，在理论上提供了更好的泛化保证。
理论分析表明，当损失函数在参数θ上是凸的且步长α_t ≤ 2/β时，区域优化的泛化误差上界为(1-|ω_r|/|ω|)Σα_t，明显优于传统点优化方法的2l^2/|S|Σα_t。更重要的是，该方法能自然地处理高阶PDE约束，而无需显式计算高阶导数。
研究团队基于蒙特卡洛采样开发了实用的RoPINN训练算法（Algorithm 1）。具体包括两个核心步骤：
(1) 蒙特卡洛近似：在每个训练迭代中，从区域ω_r内均匀采样点来近似区域梯度下降。该方法的期望等于原始区域优化的梯度下降，且通过泰勒展开可以证明它隐式包含了高阶损失项。
(2) 信任区域校准：为了控制采样带来的梯度估计误差，研究提出了一种自适应调整采样区域大小的策略，使优化过程保持在低方差梯度的”信任区域”内。调整规则为r ∝ 1/∥σ_{ξ∼U(ω_r)}(∇θl(u_θ,x+ξ))∥。
研究详细证明了区域优化中存在优化与泛化的权衡关系。增大区域尺寸有利于减小泛化误差，但会增加梯度估计误差。RoPINN的信任区域校准策略有效找到了两者间的平衡点。
研究在广泛的PDE问题上验证了RoPINN的有效性，包括1D反应方程、1D波动方程、对流方程和PINNacle[12]基准中的16个不同任务。测试的基准模型包括经典Pinn[36]、QRes[3]、FLS[50]、Pinnsformer[58]和KAN[28]。
主要实验结果如下：
通用性能提升：RoPINN在所有基准和基线上均实现了性能提升。例如，在1D反应方程上，经典Pinn的相对L2误差从0.981降至0.095（90%提升）；而已经表现优秀的Pinnsformer也从0.030降至0.017（43%提升）。
算法分析：
与其他策略的兼容性：RoPINN可无缝与NTK[47]和RAR[51]等方法结合，获得额外性能提升且计算开销增加有限。
RoPINN的主要贡献包括三个方面：
方法论创新：提出了区域优化的新范式，理论上改善了Pinns的泛化性能和高阶约束满足能力。
实用算法：开发的RoPINN算法基于高效蒙特卡洛采样和无额外梯度计算的信任区域校准策略。
广泛适用性：在19个不同PDE任务上验证了方法的有效性，适用于各类Pinn架构。
这项研究的科学价值在于： - 提供了一种新的Pinn优化视角，不再局限于离散点优化 - 建立了区域优化理论框架，证明了其在泛化误差控制上的优势 - 开发的高效算法可直接应用到现有Pinn框架中
实际应用中，RoPINN可以帮助更精确地解决各类工程和科学计算中的PDE问题，包括流体力学、热传导、电磁场计算等。尤其是对于高难度问题（如”Pinns failure modes”）有明显的改善效果。
理论创新：首次提出并严格证明了区域优化相对于点优化在泛化误差上的优势。
实现高效：仅需单点采样即可实现区域优化，无需额外反向传播或梯度计算。
通用性强：方法独立于具体网络架构和优化器，适用于各类Pinn变体。
实验完备：在具有挑战性的基准上展示了方法的稳定性和高效性。
这项工作为Pinns的优化问题提供了新的解决思路，同时保持了对现有框架的良好兼容性，有望成为求解PDEs的标准训练范式之一。