1预备知识1.1优化问题1.1.1优化问题的数学模型的一般形式是目标函数
s.t约束不等式约束
等式约束
其中，决策变量
1.1.2分类根据数学模型中有无约束函数分为无约束优化问题和有约束优化问题
约束优化问题分为等式约束优化问题和不等式约束优化问题
线性规划LP :当目标函数和约束函数都是变量x的线性函数时，称为线性规划问题
非线性规划NLP :目标函数和制约函数中，至少一个是变量x的非线性函数时，称为非线性规划问题。
根据决策变量、目标函数和约束，优化分为二次规划、整数规划、动态规划、网络优化、去平滑优化、随机规划、几何规划、目标规划、模糊规划、全局优化等几个分支。
1.1.3基本术语的可行解：满足约束条件的x称为可行解，也称为可行点或允许点
由整个可执行域的可执行解组成的集合称为可执行域，也称为许可集，记为d。 也就是说：
全局最优解：若
局部最优解：
注意：全局最优解一定是局部最优解的局部最优解未必是整体最优解
求解最优化问题实际上是求出可行域d上的全局最优解。 但是，一般来说，很难求出整体最优解，优化中的很多方法都是求出局部最优解
坡度：
1.2函数下降方向迭代算法Iterative Algorithm :选取一个初始可行点，从此初始可行点出发，依次建立一个可行点阵。使xk正好是问题的一个最优解，或者其点序列收敛于问题的一个最优解。
对于一种算法，应该有某种终止准则，当某次迭代满足终止准则时，停止迭代。 一般退出标准如下：
下降算法Descent Algorithm :迭代算法的一般要求：
下降方向Descent Direction :
凸集
凸函数：
凸计划：
注意：凸规划问题的任一局部极小点是全局极小点，整体极小点的集合是凸集。
1.3优化问题算法综述
评价一种算法的好坏，一般要注意以下几点。 通用性(Generality ) :可解问题的广度越大，可靠性越好。是指在以合理的精度求解该算法时，解决该问题的能力。 精度(Precision )指计算舍入误差、渐进误差和可行性。 参数和数据灵敏度(Sensitivity )原则：灵敏度越低越好的预备工作量和计算量的大小：预备工作量可能大于计算量本身；收敛性(Convergency )考虑收敛速度，越快越好
1.3多元函数的梯度
2、线性规划2.1线性规划模型2.1.1标准型模型包括一组决策变量、一个线性目标函数、一组线性的约束条件；
线性规划模型LP的一般格式：
2.1.2普通型为标准型
2.1.3线性规划图解法
2.1.4线性规划解的概念
注意：线性规划问题的可行域D是凸集
典例：
注意：
注意：最优解是最优的基本可行解；即最优解一定是基本可行解，基本可行解不一定是最优解
2.2 求解线性最优解的方法 2.2.1 单纯形法A.典例如下
B.单纯形法获得最优解的判定条件如下 C.单纯形法之基变换 D.单纯形法之单纯形表
E、单纯形法算法步骤 F、单纯形法使用单纯形表典例
G、单纯形法之初始基本可行解，大M法
典例如下
3、一维最优化 3.1 一维最优化问题
3.2 黄金分割法（0.618法） 3.2.1 单峰函数
3.2.2 黄金分割法
3.3 进退法（二次插值法）
3.4 抛物线插值法
3.5 三次插值法
三次插值法典例
4、无约束优化方法 4.1 无约束优化问题
无约束优化问题的求解
4.2最速下降法
若目标函数为, 则寻找最小值的过程如下
4.3 dqdlm法及其改进 4.3.1 原始dqdlm法
注意：极值不一定是极小值，可能是极大值，即模拟出来的二次函数是开口向下的
4.3.2 改进的dqdlm法-阻尼dqdlm法 4。4 共轭方向及共轭方向法 4.5 共轭梯度法 4.6 变尺度法 4.7 坐标轮换法 4.8 鲍威尔方法 4.9 单形替换法5、 约束优化方法 5.1 约束最优解及其必要条件
5.3 惩罚函数法（SUMT）