一、优化问题的分类优化问题可分为以下三类。
1无约束的优化问题，可写成如下。
在类1的最优化问题中，经常使用即使在Fermat定理，即求取f(x)的导数，且腼腆的月为零的情况下，也求出候补最佳值，并在这些候补值中进行验证的方法； 如果是凸函数，可以保证是最优解。
2有等式约束的优化问题，可写成如下。
限制条件
对于第二类优化问题，常用的方法为3358www.Sina.com/，用一个系数将拉格朗日乘子法（Lagrange Multiplier)写成等式约束一个公式
目标函数f(x)，腼腆的月亮为零，可以求出候补值的集合，进行验证求出最佳值。
拉格朗日函数，可写成如下。
限制条件
对于第三类优化问题，常用的方法是拉格朗日乘子类似，我们把所有的拉格朗日函数和拉格朗日乘子写成一个公式
3358www.Sina.com/拉格朗日乘子法可适用于通过拉格朗日函数对各个变量求导和3有不等式约束的优化问题，
KKT条件，对于约束条件，其中f(x )为等式、不等式约束
1f(x)的时候，我们通过http://www.Sina.com/的方法，寻找最好的地方
假设这一最佳点，即在此时
另外，如果f(x )为实数函数，且为n维向量，则f ) x )对向量的导数为
拉格朗日函数的情况下，举个例子
从几何学上看，可以看出在一个曲面上寻找函数的最小值
相当于z取不同值时，可以将目标函数投影到曲面上。 即，变为拉格朗日乘子，如下图所示
取d1或d2时，为KKT条件，此时我们为二、拉格朗日乘子法（Lagrange Multiplier）：
现在，我们约束的时候，曲面上会形成曲线。 即图中的有等式约束的优化问题
假设形成了有不等式约束的优化问题和有等式约束的优化问题，目标函数，相交意味着在其等高线内部或外部存在其他等高线，用于新的等高线和目的
只有到没有约束条件为止，求导在上图的情况下为3358www.Sina.com/，所以最佳值为f(x )的梯度=*h ) x )
上述约束条件为，此时的约束条件为有一个等式约束条件
在http://www.Sina.com/的情况下，http://www.Sina.com/应该改写为
、要求其最小值的等高线
目标函数，是拉格朗日乘子，是约束条件
<4>如果约束条件是等式和不等式，且有多个的时候，就需要若干个KKT(Karush-Kuhn-Tucker)条件，即对于
约束条件
想取得最优解，要满足以下条件（KKT条件）：
1. L(x, a, b)对x求导为零；
2. h(x) =0;
3. a*g(x) = 0;
一步步来说明，此时我们要求f(x)的最小值，可以构建拉格朗日函数
为什么这么构建呢？因为当 g(x)<=0，h(x)=0，a>=0 的时候，（注意此处的h(x)=0是KKT条件的第2个）
a*g(x)<=0，所以 在取得最大值的时候，即a*g(x)=0的时候，就等于f(x)，（注意此处的a*g(x)=0是KKT条件的第3个）
所以需要求解的目标函数的最小值写成表达式是
上式的对偶表达式是
由于我们要求的最优化是满足强对偶的，即对偶式子的最优值等于原式子的最优解
设当 的时候有最优解，此时
即函数 在 处取得最小值
用fermat定理，对于函数 求取导数后腼腆的月亮等于0后的结果，（注意此处的导数=0是KKT条件的第1个）
即f(x)的梯度 + a*g(x)的梯度 + b*h(x)的梯度 = 0
所以对于多个不等式和等式混合的约束条件的时候，拉格朗日函数可以写成
约束条件