Jorge Nocedal 的论文《Updating Quasi-Newton Matrices with Limited Storage》发表于1980年7月的《Mathematics of Computation》第35卷第151期，第773-782页。这篇论文属于类型a，即报告了一项原创性研究。以下是对该研究的学术报告：
作者及发表信息
本研究由墨西哥国立自治大学（Universidad Nacional Autónoma de México）的Jorge Nocedal完成，并于1980年发表在《Mathematics of Computation》上。该期刊由美国数学学会（American Mathematical Society）出版，专注于计算数学领域的高质量研究。
学术背景
研究领域为非线性优化（nonlinear optimization），具体聚焦于拟牛顿法（Quasi-Newton methods）的改进。拟牛顿法通过构造近似目标函数Hessian矩阵（或其逆矩阵）的序列来求解无约束优化问题，但其传统实现需要存储(O(n^2))规模的矩阵，对于高维问题（如(n)较大时）会面临存储瓶颈。为此，研究者提出了多种替代方法，例如稀疏Hessian结构保持方法（如Toint和Shanno的算法）或共轭梯度法（Conjugate Gradient, CG）。然而，这些方法存在重启（restart）或丢弃历史信息的问题，可能影响收敛效率。
本研究的目标是提出一种有限存储的BFGS拟牛顿矩阵更新策略，能够在迭代中动态丢弃旧信息并保留新信息，从而在存储受限的情况下保持算法的收敛性和效率。BFGS（Broyden-Fletcher-Goldfarb-Shanno）是拟牛顿法中公认最高效的更新公式之一，但此前未有针对其有限存储形式的系统研究。
研究流程与方法
问题建模与更新公式设计
- 传统BFGS更新公式（式1）通过对称修正矩阵(U(s, y, H))迭代更新Hessian近似矩阵(H)，需存储(n(n+1)/2)个元素。
- 作者提出两种等价表述：求和形式（sum-form，式2）和乘积形式（product-form，式3）。后者通过分解(H = V^T H V + \rho s s^T)（其中(\rho = 1/y^T s)）实现低存储需求。
- 核心创新：限制存储的修正步数(m)（用户指定），每次迭代丢弃最早的修正信息（如(U(s_0, y_0, H_0))）并替换为最新信息，同时通过乘积形式避免历史修正的连锁更新问题（式4-5）。
算法性质证明
- 正定性保持：若初始矩阵(H_0)正定且(y_k^T s_k > 0)（通过精确线搜索保证），则有限存储BFGS矩阵始终正定。
- 拟牛顿方程满足性：对于严格凸二次函数，生成的矩阵在最近的(m)个方向上满足拟牛顿方程(H_k y_j = s_j)（(j = k-1, \dots, k-m)），即保留局部曲率信息（式6）。
- 特征值分析：引用Fletcher定理证明有限存储BFGS矩阵的条件数有界，且随(m)增大，特征值更趋近于1（式18-19），表明其数值稳定性。
算法实现与优化
- 两种迭代框架：
- SQN（Special Quasi-Newton）：直接使用有限存储BFGS矩阵生成搜索方向(d_k = -H_k g_k)（式17）。
- SCG（Special Conjugate Gradient）：将有限存储BFGS矩阵作为预条件子，结合共轭梯度法（式12-13）。
- 高效计算：设计递归公式（第4节）计算(H \cdot g)，仅需(O(nm))存储和计算量，显著优于传统BFGS的(O(n^2))复杂度。
数值实验
- 测试问题：包括Fletcher螺旋函数、Biggs指数函数、Powell奇异函数等经典优化问题（维度(n)从3到20不等）。
- 对比方法：标准BFGS、Shanno方法（内存等价于(m=2)的SQN）、共轭梯度法（CG）。
- 性能指标：函数调用次数（表1）。结果显示：
- SQN和SCG随(m)增大性能提升，尤其在(m \geq 4)时优于Shanno方法。
- SCG在(m=8)时接近标准BFGS的效率，但存储需求显著降低。
主要结果
理论贡献：
- 证明了有限存储BFGS矩阵的正定性和拟牛顿性质，为高维优化问题提供了理论保障。
- 通过特征值分析（式19）表明，增加存储步数(m)可改善矩阵条件数，间接提升收敛速度。
算法优势：
- 存储效率：仅需存储(2m+1)个(n)维向量（如(m=8)时，存储量远小于(n^2⁄2)）。
- 计算效率：递归公式将矩阵-向量乘法的复杂度从(O(n^2))降至(O(nm))。
- 数值表现：在多数测试问题中，(m=8)的SQN和SCG性能接近标准BFGS，且明显优于CG和Shanno方法。
结论与价值
科学价值：
- 首次系统提出了有限存储BFGS更新的数学框架，填补了拟牛顿法在存储受限场景下的理论空白。
- 为大规模优化问题提供了兼顾效率与可行性的解决方案，推动了后续研究（如L-BFGS算法的发展）。
应用价值：
- 适用于工程、机器学习等高维优化问题，尤其在内存受限的硬件（如嵌入式系统）中具有潜力。
- 提出的SCG方法为预条件共轭梯度法提供了新思路，启发了后续混合算法的设计。
研究亮点
- 方法创新：通过乘积形式实现历史信息的动态替换，避免了传统方法的重启问题。
- 理论严谨性：结合拟牛顿方程和特征值分析，严格证明了算法的收敛性。
- 实用性强：数值实验覆盖多类问题，验证了算法的普适性和鲁棒性。
其他价值
论文还讨论了算法在非线性函数下的局部收敛性（第3节），并开源了代码实现细节（如线搜索策略），为后续研究提供了可复现的基础。