所谓最优化问题，通俗地说就是求出函数在可行领域的极值。
如果函数没有约束，则称为无约束优化。 如果限制条件是等式，则称为等式限制优化。 当约束条件为不等式时，称为不等式约束优化。
最优性条件最优性条件即极值点满足的条件。
无约束问题最优性条件一次必要条件：一次导数为0
二阶必要条件：二阶导数大于或等于零
一般约束优化问题的最优性条件
给出无约束最优化问题的算法框架step0初始化参数和初始迭代点X0，k=0； 在step1满足结束标准的情况下，停止迭代，以Xk为近似极小点的step2确定下降方向dkstep3确定步长因子ak，f(XkAK*dk ) f ) xk ) step4命令Xk 1=Xk ak*dk，k=k 1，转到step1； 线性搜索在单变量情况下可以采用线性搜索技术，常用方法有黄金分割法和抛物线法两种。
黄金分割法
将初始搜索区间设为[a0，b0]，将允许误差设为，分别计算区间内的2个黄金分割点的值和区间两端的值，比较4个值并舍去区间，如果不符合允许误差则继续重复区间。
抛物线法
如果知道三个点s1、s2、s3和与它们对应的函数值，就用这三个点构筑二次函数，求出对应的极值点，再通过比较这四个点得到新的区间，如果在允许误差以下，就停止反复。
最速下降法选择一次微分，即梯度方向作为下降方向，利用线搜索法决定步长系数ak，在一次微分达到允许误差以下时停止反复。
锯齿形下降，收敛速度慢
悲伤懒惰猪法的基本思想是利用Xk中的一阶和二阶微分将目标函数逼近一个二阶函数，以该二阶函数的极小点作为新的迭代点，小于允许误差时停止迭代。
下降方向：
Gk*dk=-gk
Gk是二次微分，Gk是一次微分
收敛速度快，但初始点必须充分接近极小点，否则最终可能无法收敛
共轭梯度法k=0，pk=rk
k1、
rk为一次导数，pk为下降方向
计算量少，存储方便
最小二乘法使目标函数和真值之差的平方和最小的方法叫做最小二乘法。
高斯难过的小懒猪法
s相当于xk
罚函数法上的一些方法应用于无约束优化问题，罚函数法应用于约束优化问题。
实际上罚函数通过在目标函数中增加罚函数项，将约束优化问题转化为无约束优化问题。
例如，如果限制条件为x1 x2=1，则可以在函数中添加项10000(x1x2-1 )。 10000是一个大参数，为了尽可能缩小整个函数，该罚函数项必须为0。