认知物理信息神经网络（CoPINN）：解决偏微分方程中的不平衡预测问题

作者及机构
本研究的共同第一作者为Siyuan Duan和Wenyuan Wu，其他作者包括Peng Hu、Zhenwen Ren、Dezhong Peng和Yuan Sun。研究团队主要来自四川大学计算机学院（College of Computer Science, Sichuan University）和西南科技大学（Southwest University of Science and Technology）。论文发表于第42届国际机器学习会议（Proceedings of the 42nd International Conference on Machine Learning, PMLR 267），2025年。

学术背景
物理信息神经网络（Physics-Informed Neural Networks, PINN）是一种结合深度学习与物理方程约束的方法，用于求解偏微分方程（Partial Differential Equations, PDEs）。传统PINN方法在训练时对所有样本点（包括边界区域和光滑区域）一视同仁，导致模型容易陷入局部最优，尤其在物理边界区域（即“顽固区域”）预测误差较大，这一问题被称为“不平衡预测问题”（Unbalanced Prediction Problem, UPP）。

为解决这一问题，本研究提出了一种新颖的框架——认知物理信息神经网络（Cognitive Physics-Informed Neural Networks, CoPINN），其灵感来源于人类“从易到难”的认知学习过程。CoPINN通过动态评估样本难度并逐步优化训练策略，显著提升了在顽固区域的预测精度。

研究流程与方法
1. 可分离学习（Separable Learning）
- 方法：传统PINN使用单一多层感知机（MLP）处理多维坐标，计算复杂度高。CoPINN采用可分离子网络（Separable Subnetworks）独立编码每一维坐标，再通过聚合方案生成多维预测变量。
- 优势：显著降低了计算复杂度，尤其适用于高维PDE问题。

1. 样本难度动态评估

   • 方法：通过PDE残差的梯度幅值（gradient magnitude of PDE residuals）动态评估每个样本点的难度。边界区域因物理量突变，梯度较大，被标记为“困难样本”；光滑区域梯度较小，为“简单样本”。
     
   • 公式：第k个样本在第i轮训练的难度度量定义为：
     [ dk^i = \left| \frac{\partial l{pde}^i}{\partial x_k^i} \right|_2 ]
     

2. 认知训练调度器（Cognitive Training Scheduler）

   • 方法：训练初期，简单样本权重较高；随着训练进行，逐步增加困难样本权重。具体权重调整公式为：
     [ v_j^i = v_e^1 - \tau_e \cdot (i-1) - \beta \cdot \delta_j^i ]
     其中，( \tau_e )为 epoch 步长，( \beta )为超参数，控制权重变化幅度。
     
   • 目标：避免模型过早陷入局部最优，提升边界区域的泛化能力。
     

3. 损失函数设计

   • 总损失：结合PDE残差损失（( l{pde} )）、初始条件损失（( l{ic} )）和边界条件损失（( l{bc} )），并通过动态权重调整：
     [ L(\hat{u}{\theta}) = \lambda{pde} \int{\gamma} \int_{\omega} vi \cdot | \mathcal{N}[\hat{u}{\theta}](x,t) |^2 dxdt + \lambda{ic} l{ic} + \lambda{bc} l{bc} ]
     

实验结果
1. 性能对比
- 数据集：在Helmholtz方程、（2+1）维Klein-Gordon方程、（3+1）维Klein-Gordon方程和扩散方程上测试。
- 指标：相对L2误差（RL2）和均方根误差（RMSE）。
- 结果：CoPINN在所有数据集上均优于7种基线方法（如PINN、GPINN、SPINN等）。例如，在Helmholtz方程（( nc=256^3 )）上，CoPINN的RL2为0.0006，比第二名SPINN(m)提升98%。

1. 可视化分析

   • 边界区域误差：传统方法（如SPINN）在边界区域的绝对误差显著高于光滑区域，而CoPINN在两者间保持一致的低误差（图1）。
     

2. 消融实验

   • 认知调度器的作用：移除epoch变化组件（( \tau_e )）或样本变化组件（( \beta \cdot \delta_j^i )）均导致性能下降，其中epoch变化组件对性能影响更大（表2）。
     

结论与意义
1. 科学价值
- 首次提出并解决了PINN中的“不平衡预测问题”，为复杂PDE求解提供了新思路。
- 通过认知学习策略，显著提升了模型在边界区域的泛化能力。

1. 应用价值
   
   • 可应用于流体力学、量子场论等领域的PDE求解，尤其适用于高维或边界突变问题。
     
   • 代码已开源（GitHub仓库：https://github.com/siyuancncd/CoPINN），便于后续研究复现与拓展。
     

研究亮点
1. 创新方法：首次将“从易到难”的认知学习机制引入PINN，提出动态难度评估与权重调整策略。
2. 性能突破：在多项PDE任务中实现SOTA性能，边界区域误差降低90%以上。
3. 可扩展性：可分离子网络设计显著降低了高维PDE的计算成本。

其他价值
- 参数分析表明，超参数( \beta )的最佳取值范围为( [10^{-4}, 10^{-1}] )，为后续研究提供了调参指导。
- 难度密度可视化（图8）证实了认知训练调度器能有效降低样本的整体难度。

本研究为物理信息神经网络领域提供了重要的方法论创新，并为解决复杂PDE问题开辟了新方向。