文档介绍：五种最优化方法
最优化方法概述
1・1最优化问题的分类
1）无约束和有约束条件；
2）确定性和随机性最优问题（变量是否确定）；
3）线性优化与非线性优化（目标函数和约束条件是否线性）；
4）静态规划和动态规划（解是否随时间变化）五种最优化方法
最优化方法概述
1・1最优化问题的分类
1）无约束和有约束条件；
2）确定性和随机性最优问题（变量是否确定）；
3）线性优化与非线性优化（目标函数和约束条件是否线性）；
4）静态规划和动态规划（解是否随时间变化）。
（有约束条件）：
minf（X）
hj（X）=0,j=l,2,...,L‘
Ss,（X）＞0,i=l,2,...,m
式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约
束，hj（X）称为等式约束。化过程就是优选X,使目标函数达到最优值。
牛顿法
1）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法；3）是一种函数逼近法。
牛顿法的墓本思想是，在极小点附近用二阶T的I"參项式近似目标函数进而求出极小点的估计值.
考虑问题
min/（t）.jtG（9*3*I》
<p(.r)=/()+/(jrU1)(jt-x(i))+y)(j--}2,
又令
g>—/<工⑶>+严3）<j-严>=0得到牡八的驻点，记作严），则
()
在点f附近，（平・）,“是f2的极小点的-个估计，，）式可以得到极小点的•个进-，利用迭代公式（）可臥得到一个序列^（tl},可以证明，在一定条件下•这个序列收敛于问题（山玄1）的最优解，而且是2级收敛.
最速下降法（梯度法）
3・1最速下降法简介
1）解决的是无约束非线性规划问题；
2）是求解函数极值的一种方法；
3）沿函数在该点处目标函数下隆最快的方向作为搜索方向;
最速卜降法的迭代公式是
()
具中卅是从m取出发的搜索方向，这里取在点x⑷处的晟速下降方向,即
肝=-V/(xu>\
人”是从X⑷出发沿方向护杯进行一维搜索的步长，即如满足
f(xik)+如川⑻)=+加旧)*<>
上耳0
计算步骤如下：
(1)给宦辺点工门>€世，允许误差E>0,置矗=1*
(2)计算搜索方向dik)=-^f(xiki\
O)若||旷||则停止计算:否则，从屮)出发，沿出轉进行一维捜索，求「使
/(x,n+A*rfc>1)=min/Cx1^匚
(4)令工恥=严+儿〃闵，置®F+E,转步骤⑵.
模式搜索法(步长加速法)
解决的是无约束非线性规划问题；
不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。
模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动。
模式扌叟索法
基本原理
(A)轴向移动，用y表示
♦每次轴向移动的开始点称为参哮点-
勺-…、
畑二y