本文介绍了一篇由Mert Pilanci和Tolga Ergen撰写的学术论文，题为《Neural Networks are Convex Regularizers: Exact Polynomial-Time Convex Optimization Formulations for Two-Layer Networks》。该论文发表于2020年的第37届国际机器学习会议（Proceedings of the 37th International Conference on Machine Learning, PMLR 119）。两位作者均来自斯坦福大学电气工程系。
该研究的主要领域是机器学习中的神经网络优化问题，特别是针对两层神经网络（Two-Layer Neural Networks）的训练问题。传统的神经网络训练通常涉及非凸优化问题，这使得全局最优解的求解变得非常困难。尽管已有一些研究尝试通过凸优化方法来解决神经网络训练问题，但这些方法通常局限于无限宽度的网络（即神经元数量趋于无穷大），并且需要解决无限维的优化问题。然而，实际应用中，神经网络的宽度是有限的，因此现有的凸优化方法无法直接应用于有限宽度的神经网络。
本文的核心贡献在于提出了一种新的凸对偶理论，将两层神经网络的训练问题转化为一个有限维的凸优化问题，并且该问题的变量数量与训练样本数量和隐藏层神经元数量呈多项式关系。具体来说，作者证明了使用ReLU（Rectified Linear Unit）激活函数的两层神经网络在标准权重衰减（Weight Decay）下的训练问题等价于一个带有块L1惩罚的凸模型。此外，作者还证明了某些标准的卷积线性网络等价于半定规划（Semi-Definite Program, SDP），并且可以进一步简化为在多项式大小的离散傅里叶特征空间中的L1正则化线性模型。
本文的研究方法主要基于凸对偶理论和最小范数正则化（Minimum Norm Regularization）。具体来说，作者提出了一个有限维的凸优化问题，该问题能够全局求解两层ReLU神经网络的训练问题。以下是研究的主要步骤：
问题定义：作者首先定义了一个两层ReLU神经网络的训练问题，目标是最小化平方损失函数和所有权重的L2范数之和。该问题由于ReLU激活函数的非线性和隐藏层与输出层权重之间的乘积关系，通常是一个非凸优化问题。
凸对偶理论：作者通过引入凸对偶理论，将原始的非凸优化问题转化为一个凸优化问题。具体来说，作者证明了原始问题等价于一个带有L1惩罚的凸模型，并且通过半无限对偶（Semi-Infinite Duality）方法，进一步将问题转化为一个有限维的凸优化问题。
几何解释：作者还提供了一个几何解释，指出在弱正则化情况下，优化问题的解可以看作是一个凸集的极值函数（Gauge Function）。这一几何解释为理解神经网络的优化过程提供了新的视角。
卷积神经网络的扩展：作者进一步将他们的方法扩展到卷积神经网络（Convolutional Neural Networks, CNNs），证明了线性卷积网络的训练问题可以转化为一个半定规划问题，并且可以进一步简化为L1正则化的线性模型。
本文的主要结果包括： 1. 凸优化问题的等价性：作者证明了使用ReLU激活函数的两层神经网络的训练问题等价于一个有限维的凸优化问题。该凸优化问题的变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，因此可以在多项式时间内求解。
强对偶性：作者证明了在某些条件下，原始问题与其对偶问题之间存在强对偶性（Strong Duality），即原始问题的最优解等于对偶问题的最优解。
卷积网络的简化：作者证明了线性卷积网络的训练问题可以转化为一个半定规划问题，并且可以进一步简化为L1正则化的线性模型。这一结果为卷积神经网络的训练提供了新的优化方法。
本文的研究具有重要的理论和实际意义。首先，作者提出的凸优化方法为两层神经网络的训练问题提供了一个全局最优解的求解框架，这在传统的非凸优化方法中是难以实现的。其次，该方法为理解神经网络的优化过程提供了新的视角，特别是通过几何解释揭示了神经网络训练的凸正则化特性。最后，作者的方法可以扩展到卷积神经网络，为卷积网络的训练提供了新的优化工具。
全局最优解的求解：本文提出的凸优化方法能够在多项式时间内求解两层神经网络的全局最优解，这在传统的非凸优化方法中是无法实现的。
凸对偶理论的应用：作者通过引入凸对偶理论，成功地将非凸的神经网络训练问题转化为凸优化问题，为神经网络的优化提供了新的理论工具。
卷积网络的扩展：作者的方法不仅适用于全连接神经网络，还可以扩展到卷积神经网络，为卷积网络的训练提供了新的优化方法。
本文还通过数值实验验证了所提出方法的有效性。实验结果表明，本文提出的凸优化方法在训练两层ReLU神经网络时，能够比传统的随机梯度下降（Stochastic Gradient Descent, SGD）方法更快地收敛到全局最优解。此外，作者还展示了该方法在卷积神经网络中的应用，进一步验证了其广泛适用性。
本文的研究为神经网络的优化问题提供了新的理论框架和实用工具，具有重要的学术和应用价值。