文档介绍：: .
五种最优化方法
1.
1）无约束和有约束条件；2）确定: .
五种最优化方法
1.
1）无约束和有约束条件；2）确定性和随机性最优问题（变量是否确定）；
3）线性优化与非线性优化（目标函数和约束条件是否线性）；4）静态规划和动态规划（解是否随时间变化）。
（有约束条件）：
mtnf（X）h/X）=OJ=U“,L
（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约
束，hj（X）称为等式约束。化过程就是优选X，使目标函数达到最优值。
2.
1）解决的是无约束非线性规划问题；2）是求解函数极值的一种方法；
3）是一种函数逼近法。

牛顿法的加応思鯉U茁在扱小点附近用二阶「勰芮多顶试近似口标函数f■-.h进而求出极小点的佔计值.
老虑问鎚
minf（T）.,3*i3
w（x）=f（*“"—工+2/*“⑹）（才一+即）-.
24a〉-/1上⑷）*><j--、-o
得到梓」）的莊点*记作（
小'侧
疋⑷=工"一另寻（乩乩2）
/（jj
在点严雎近，/p注初$梟大I此可用函数心的极小点作滝目标函数/（』）的极小点的估计•如里』―、的機小点的个估计，那么利W9,）
•,判用迭代公式<）可以得到个序列可以证明"孤
淀条件钱这个序列收敛于问题（”门的绘优解‘血月,是2级收敛
**■■,-s-mMir■*n尸*Hif±A■■"nt-tdH（ITAB—I讯J-•■*r:k最速下降法（梯度法）
）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法；3）沿函数在该点处目标函数下降最快的方向作为搜索方向;

址速卜降法的迭代公式是
（10丄10）
其中旷是从屮咄发的搜索方向,
这4W在点*川处的E谏卜'隆方向,即
九是从卅出发沿方向屮进彳f一维搜索的步长，即儿满足f屮+入皿闪）=min/（Xa,+M"）（）
a
计算步骤如下：
（1）绐企初，允许误差e>0,KI-k⑵计算搜索方向肝=—巧（严）.
（3）若II广||则停止计算:否则，从^出发，沿d⑷进行一维搜索，求入「使/（工爾）=min/（F"+M小）b
（4）令严小=暑⑷UM，置和二左+1，转步骤（2）.
4•模式搜索法（步长加速法）
1）解决的是无约束非线性规划问题；2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。
3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动