文档介绍：五种最优化方法
最优化方法概述

1）无约束和有约束条件；
2）确定性和随机性最优问题（变量是否确定）；
3）线性优化与非线性优化（目标函数和约束条件是否线性）;
4）静态规划和动态规划（解是否随时五种最优化方法
最优化方法概述

1）无约束和有约束条件；
2）确定性和随机性最优问题（变量是否确定）；
3）线性优化与非线性优化（目标函数和约束条件是否线性）;
4）静态规划和动态规划（解是否随时间变化）。
（有约束条件）：
min f(X)
hj(X) = 0,j = l,2,...,L
s,(X) > 0,i = 1,2,..., m
式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约束，hj（X）称为等式约束。化过程就是优选乂，使目标函数达到最优值。
牛顿法

1）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法；
3）是一种函数逼近法。

牛例法的基本思想是，在极小点附近用二阶丁凹1灯多项式近似目标函数进而求出极小点的估计值.
考虑问题
min /(2T) . r G
甲3 /( j ) + / (jrU1)( jt - x"**) + - j(t>
又令
供（工）-ru 得到砂工）的驻点，记作交…’，则
+尸3峪一工山）k 0
(9. 3⑵
尸3"'
瑚+n 一盘妇_ J「应工 -J 广/
在点附近，（*而），因此可用函数甲的极小点作为目标函数的极小「是/ t）的极小点的-个估计，）式可以得到极小点的 •个进-，利用迭代公式（〉可以得到一个序列｝, -定条件下，这个序列收敛于问题（）的最优解，而且是2级收敛.
-rHTI
工-** ―■- rrA 口业L *4+- t i
最速下降法（梯度法）

1）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法；
3）沿函数在该点处目标函数下降最快的方向作为搜索方向;

最速下降法的迭代公式是
+人』商’ (10. L 10)
其中舟是从王商出发的搜索方向，这里取在点『峪处的最速王隆五恒1,即
扁是从 f 出发沿方向d国进行一维搜索的步长，即不满足 f(xik) +A"“)= +如德， < 10. 1. 11 >
计算步骤如下：
绘定初百 /y # ,允许误差e>0 ,置4 = L
计算搜索方向dik) =-^f(xiki\
⑶若II du)II We，则停止计算:否则，从 V出发，沿d"'进行一维搜索，求 m使 f(x(t> +A*rfc>1 士/Uf").
(4)令广”=廿)+心"函，置*"项卜1 ,转步骤("
模式搜索法(步长加速法)

解决的是无约束非线性规划问题；
不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。
模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模