本文由Lénaïc Chizat和Francis Bach共同撰写，发表于2018年第32届神经信息处理系统会议（NeurIPS 2018）。两位作者均来自法国巴黎的Inria、ENS和PSL Research University。本文的研究领域主要涉及机器学习和信号处理中的优化问题，特别是针对过参数化模型的梯度下降全局收敛性分析。
在机器学习和信号处理中，许多任务可以通过最小化某个凸函数来解决，例如稀疏尖峰去卷积（sparse spikes deconvolution）或单隐藏层神经网络的训练。尽管这些问题在理论上可以表示为凸优化问题，但由于变量是无限维的，实际求解非常困难。本文研究了一种简单的优化方法：将未知的测度离散化为粒子的混合，并在粒子的权重和位置上执行连续时间梯度下降。这种方法可以被视为训练具有大隐藏层神经网络的理想化版本。本文的主要目标是证明，在正确初始化和粒子数量趋于无穷大的情况下，尽管梯度流是非凸的，但它仍然能够收敛到全局最小值。
本文的研究方法基于最优传输理论中的Wasserstein梯度流（Wasserstein gradient flows）。具体来说，作者研究了粒子梯度流（particle gradient flow）在粒子数量趋于无穷大时的极限行为，并将其与Wasserstein梯度流联系起来。以下是研究的主要步骤：
问题定义与假设：
本文考虑的问题是在一个参数空间上最小化一个凸函数，该函数依赖于一个未知的测度。作者假设损失函数是光滑的，且参数空间是凸的。此外，作者还假设函数φ和v具有一定的正则性和局部Lipschitz性质。
粒子梯度流与Wasserstein梯度流：
作者首先定义了粒子梯度流，即通过离散化测度为粒子的混合，并在粒子的权重和位置上执行梯度下降。随后，作者将粒子梯度流推广到任意测度初始化的Wasserstein梯度流，并证明了其存在性和唯一性。
多粒子极限：
作者证明了当粒子数量趋于无穷大时，粒子梯度流收敛到Wasserstein梯度流。这一结果的关键在于将粒子梯度流视为Wasserstein梯度流的离散化，并通过最优传输理论中的工具进行分析。
全局收敛性：
在一定的结构假设和初始化条件下，作者证明了Wasserstein梯度流能够收敛到全局最小值。具体来说，作者考虑了两种不同的情况：一种是φ和v是2-齐次的（2-homogeneous），另一种是φ和v在某个变量上是1-齐次的（partially 1-homogeneous）。在这两种情况下，作者分别给出了全局收敛的条件。
数值实验：
作者通过数值实验验证了理论结果的有效性。实验表明，即使在粒子数量较少的情况下，粒子梯度流也能够表现出全局收敛的行为，尤其是在高维问题中。
本文的主要结果可以总结为以下几点：
Wasserstein梯度流的全局收敛性：
在一定的结构假设和初始化条件下，Wasserstein梯度流能够收敛到全局最小值。这一结果不仅适用于2-齐次的情况，也适用于部分1-齐次的情况。
粒子梯度流的全局收敛性：
当粒子数量趋于无穷大时，粒子梯度流收敛到Wasserstein梯度流，并且能够收敛到全局最小值。这一结果表明，粒子梯度流在实际应用中具有较好的全局收敛性。
数值实验验证：
数值实验表明，即使在粒子数量较少的情况下，粒子梯度流也能够表现出全局收敛的行为。这一结果进一步验证了理论的有效性。
本文的研究为过参数化模型的梯度下降提供了理论支持，特别是在全局收敛性方面。通过将粒子梯度流与Wasserstein梯度流联系起来，作者证明了在一定的条件下，梯度下降能够避免局部最小值并收敛到全局最小值。这一结果不仅具有理论意义，还为实际应用中的优化算法提供了指导。
本文的亮点和创新点主要体现在以下几个方面：
全局收敛性分析：
本文首次在过参数化模型的梯度下降中证明了全局收敛性，特别是在粒子数量趋于无穷大的情况下。
Wasserstein梯度流的应用：
本文利用最优传输理论中的Wasserstein梯度流工具，将粒子梯度流的极限行为与全局收敛性联系起来，提供了新的分析视角。
广泛的适用性：
本文的结果不仅适用于稀疏尖峰去卷积问题，还适用于单隐藏层神经网络的训练，具有广泛的适用性。
本文还讨论了粒子梯度流在实际应用中的表现，特别是在粒子数量较少的情况下，仍然能够表现出全局收敛的行为。这一结果为实际应用中的优化算法设计提供了重要的参考。
本文通过理论分析和数值实验，证明了过参数化模型的梯度下降在一定的条件下能够收敛到全局最小值。这一结果不仅具有重要的理论意义，还为实际应用中的优化算法设计提供了指导。未来的研究可以进一步探索多层神经网络的全局收敛性，以及如何在实际应用中更好地利用粒子梯度流的全局收敛性质。