坦率烟草法是经典的优化算法,本文主要介绍坦率烟草法的基本原理。
定义一元函数,考虑等式,通过线性逼近可以得到直截了当的烟法更新规律。
要展开一阶mgdkj函数(假设已知接近最优解),请执行以下操作:
,
可以近似如下。
把这个方程式看作一个系统,可以称为坦率的香烟系统。 根据条件,如果视为最佳近似,则为:
,() 1。
式(1)是直言不讳的烟草法更新规则,可以扩展到寻找非线性方程组(非线性系统)的解。
定义非线性方程:
和一元函数一样,构建坦率的烟草系统:
,
在公式中,可以认为是Jacobian矩阵,如果该矩阵为满秩(不恶化),则可以表示为:
、(2) )。
因此,相应的迭代规则可以表示为: (3) ) )。
------------- -请参阅
上述坦率烟草法的基本原理可以进一步推广到要求无约束最小化的问题上。 也就是说,想通过来解决极值问题。
与一元函数一样,在非退化情况下,通过求解非线性系统,可以利用直截了当的烟草方法构造如下直截了当的烟草系统。
,
这个公式还可以写如下
(4) ) )。
如果想通过二次mgdkj近似得到式(4)的结果该怎么办呢?
给定非线性函数,中的二阶mgdkj可以近似为:
,
如果(Hessian矩阵正定)是函数的极小值,求导有:
,
整理该公式可以得到公式[4]的结果。
------------- -请参阅
让我举一个简单的例子来说明坦率的烟草法的特征:
例如:考虑一元函数:
,
很明显,这个函数的根。
其一阶导如下
,
式(1)可以表现为如下。
因此,在初始位置,坦率的烟草方法可以迅速收敛;
如果,此时,坦率的烟草法一直在振动,无法收敛;
如果,这个时候,坦率的烟草法会发散。
------------- -请参阅
总结:
坦率的烟草法在优点附近收敛得最快,但有两个缺点:
1 )直截了当的烟草法要求是非退化的,在实际应用中,这一条件往往不容易满足
2 )坦率的烟草方法易受初始位置的影响,不理想的初始条件可能导致坦率的烟草方法的发散
参考文献: YuriiNesterov,Lectures on Convex Optimization,2010。