分享自:

Kolmogorov-Arnold网络:一种新型神经网络架构

期刊:International Conference on Learning Representations (ICLR)

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


Kolmogorov-Arnold Networks(KANs):一种高精度、可解释的深度学习新架构

一、研究团队与发表信息

本研究由Ziming Liu(麻省理工学院、NSF人工智能与基础交互研究所)、Yixuan Wang(加州理工学院)、Sachin Vaidya(麻省理工学院)、Fabian Ruehle(东北大学、NSF研究所)、James Halverson(东北大学)、Marin SoljačićMax Tegmark(麻省理工学院)共同完成,发表于International Conference on Learning Representations (ICLR) 2025

二、学术背景与研究目标

科学领域:深度学习与函数逼近理论。
研究动机:传统多层感知机(MLPs)虽被广泛使用,但存在两大局限:
1. 固定激活函数:MLPs的神经元激活函数固定,限制了表达能力;
2. 维度灾难(Curse of Dimensionality, COD):高维数据下MLPs的逼近效率低。

理论基础:研究受Kolmogorov-Arnold表示定理启发,该定理指出任何多元连续函数可分解为有限个一元函数与加法的组合。尽管该定理因函数可能非光滑而被长期忽视,但团队认为科学问题中多数函数具有光滑性与稀疏组合结构,可通过神经网络实现高效逼近。

研究目标:提出Kolmogorov-Arnold Networks(KANs),通过将MLPs的“线性权重”替换为“可学习的一元函数”(参数化为样条),提升模型精度与可解释性,并验证其在科学计算中的潜力。

三、研究方法与流程

  1. 架构设计

    • 核心创新:KANs的边(权重)为可学习的激活函数(样条参数化),节点仅执行加法(图0.1)。
    • 数学形式:KANs的每一层为函数矩阵(公式2.6),整体为多层复合函数(公式2.7)。
    • 实现细节
      • 残差激活函数:结合基函数(如SiLU)与样条(公式2.10-2.12);
      • 动态网格更新:根据输入调整样条网格范围,避免边界溢出。
  2. 理论分析

    • 逼近定理(定理2.1):若目标函数具有光滑的Kolmogorov-Arnold表示,KANs的逼近误差随网格细化以$O(g^{-(k+1)})$下降($g$为网格数,$k$为样条阶数),优于MLPs的维度依赖误差。
    • 神经缩放定律:KANs的测试误差随参数数$n$以$n^{-4}$下降(MLPs为$n^{-(k+1)/d}$),显著缓解COD。
  3. 优化技术

    • 网格扩展(Grid Extension):通过逐步增加样条网格点数提升精度(图2.3),无需从头训练;
    • 稀疏化与剪枝:基于$L_1$正则化和熵正则化(公式2.18-2.20)自动压缩网络结构,提升可解释性。
  4. 实验验证

    • 任务设计
      • 函数拟合:5类合成函数(如Bessel函数、高维指数函数);
      • 特殊函数逼近:15种数学与物理特殊函数(如椭圆积分、球谐函数);
      • Feynman方程回归:54个物理公式的无量纲化拟合;
      • 偏微分方程(PDE)求解:泊松方程的物理信息神经网络(PINN)求解。
    • 对比基准:MLPs(不同深度/宽度)、符号回归方法。

四、主要结果

  1. 精度优势

    • 合成函数:KANs在相同参数下比MLPs误差低1-2个数量级(图3.1),例如高维函数$f(x1,\dots,x{100})=\exp(\sum \sin^2(\pi x_i/2))$的逼近误差随参数呈$n^{-4}$下降;
    • PDE求解:2层宽度10的KAN比4层宽度100的MLP精度高100倍(图3.3)。
  2. 可解释性

    • 自动发现结构:通过剪枝得到紧凑网络(如Feynman方程$u+v/(1+uv)$被压缩为2层KAN,对应“快度”物理概念);
    • 符号化拟合:用户可交互式指定激活函数为符号形式(如$\sin$, $\exp$),结合仿射参数拟合(图2.4)。
  3. 科学发现

    • 纽结理论:KANs复现了纽结不变量与双曲体积的数学关系;
    • 安德森局域化:成功识别相变边界,与理论预测一致(图4.4)。

五、结论与价值

  1. 科学意义

    • 理论突破:首次将Kolmogorov-Arnold定理推广至任意深度/宽度,为高维函数逼近提供新工具;
    • 方法创新:结合样条(低维精度)与MLPs(组合结构学习),实现“内外自由度分离”。
  2. 应用价值

    • AI+科学:作为“协作者”辅助科学家重新发现数学/物理规律;
    • 持续学习:得益于样条局部性,KANs在序列任务中避免灾难性遗忘(图3.4)。

六、研究亮点

  1. 高精度与高效性:KANs在低参数量下实现超越MLPs的逼近能力;
  2. 可解释性工具链:网格扩展、稀疏化、符号化等技术支持用户交互式调试;
  3. 跨学科验证:在数学、物理、工程问题中均展示优越性。

七、其他价值

  • 开源工具:代码库pykan(GitHub)提供易用接口;
  • 未来方向:探索KANs在Transformer等架构中的替代潜力。

(注:因篇幅限制,部分细节如实验超参数、符号回归对比等未完全展开,可参考原文附录。)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com