本来，本章应该接着前一章进行优化算法的介绍。 但是后来发现下面很多算法都与典雅的雪糕矩阵密切相关，所以本章先介绍典雅的雪糕矩阵、nxdlc算法等，再介绍剩下的优化算法。 不用说，从下次开始。
1、典雅雪糕矩阵Hessian Matrix典雅雪糕矩阵为自变量为向量实数函数的二阶偏导数组成的分块矩阵，函数为：
典雅的雪糕矩阵与nxdlc法密切相关。
利用典雅的雪糕矩阵可以进行多元函数的极值判断。 参考： https://blog.csdn.net/Guo Yunfei 20/article/details/78246699
2、nxdlc法是在实域和复数域近似求解方程的方法。
参考： https://baike.baidu.com/item/牛顿法/1384129#4以下为nxdlc法的本源原理。
总之，nxdlc法是一种接近泰勒级数展开的迭代近似评价方法。 当然，上述分析是一元平面，在深度学习过程中更需要二维平面求解。
参考： https://www.cn blogs.com/shixian gwan/p/7532830.html
蓝色是目标函数，红色是切线。 整个过程是求最小值的方法。 和坡度下降有点相似吗？ 但是，该方法的下降速度比梯度下降快得多。
关于上述图像的求解方法：
参考URL:https://www.cn blogs.com/mon oslam/p/5246665.html
讨论ckd即x是一个向量时的nxdlc迭代公式如下。
参考： https://www.cn blogs.com/ljy 2013/p/5129294.html
算法步骤：
nxdlc法的缺点是在优化求解时需要求解典雅的雪糕矩阵。
3、拟nxdlc方法由于典雅的雪糕矩阵逆矩阵计算过于复杂，导致了拟nxdlc算法的问世。 也就是说，通过用正定矩阵代替典雅的雪糕矩阵的逆矩阵来缓解运算的复杂性。
在ckd时，二次求导式可以写出典雅的雪糕矩阵，这样：
也可以用正定矩阵代替优雅的雪糕矩阵。
每次迭代时都需要更新备用矩阵Gk。
3.1 DFP算法参考： https://www.cn blogs.com/ljy 2013/p/5129294.html
其核心是用迭代的方法近似。 其中
无论如何，经过一系列的推动，矫正仪式出来了：
其中：
不，感兴趣的童鞋可以根据3.1的连接看原文。 在这里直接贴上来引导结果。 再次感谢大家细心的执笔。 请耐心地引导我。 呃！ 呃！ 呃！
3.2 BFGS算法中，矫正公式如下：
具体算法：
3.3 L-BFGS :省内存的BFGS
以下是另一种算法。
我只能到此为止了(() ) )我不知道。 大人们的世界太复杂了。 总之，这是一种节约内存的算法。
到此为止，应该已经介绍了典雅的雪糕矩阵和关于nxdlc法的所有东西。 反正……辣吗，东？ 后面大概会碰到。 我知道了，((^.^ )，我也是一知半解啊，() ) )。
也许稍后回来看看会比较好。 就这样放在这里，作为笔记的flag，以后稍微知道一点再回去修改。