文档介绍:五种最优化方法
最优化方法概述
1) 无约束和有约束条件;
2) 确定性和随机性最优问题(变量是否确定);
3) 线性优化与非线性优化(目标函数和约束条件是否线性);
4) 静态规划和动态规划(解是否随时五种最优化方法
最优化方法概述
1) 无约束和有约束条件;
2) 确定性和随机性最优问题(变量是否确定);
3) 线性优化与非线性优化(目标函数和约束条件是否线性);
4) 静态规划和动态规划(解是否随时间变化)。
(有约束条件):
min f(X)
hj(X) = 0,j = l,2,...,L
s,(X) > 0,i = 1,2,..., m
式中f(X)称为目标函数(或求它的极小,或求它的极大),si(X)称为不等式约 束,hj(X)称为等式约束。化过程就是优选乂,使目标函数达到最优值。
牛顿法
1) 解决的是无约束非线性规划问题;
2) 是求解函数极值的一种方法;
3) 是一种函数逼近法。
牛例法的基本思想是,在极小点附近用二阶丁凹1灯多项式近似目标函数进而 求出极小点的估计值.
考虑问题
min /(2T) . r G
甲3 /( j ) + / (jrU1)( jt - x"**) + - j(t>
又令
供(工)-ru 得到砂工)的驻点,记作交…’,则
+尸3峪一工山)k 0
(9. 3⑵
尸3"'
瑚+n 一盘妇_ J「应 工 -J 广/
在点附近,(*而),因此可用函数甲的极小点作为目标函数的极小 「是/ t)的极小点的-个估计,)式可以得到极小点的 •个进-,利用迭代公式(〉可以得到一个序列}, -定条件下,这个序列收敛于问题()的最优解,而且是2级收敛.
-rHTI
工-** ―■- rrA 口 业L *4+- t i
最速下降法(梯度法)
1) 解决的是无约束非线性规划问题;
2) 是求解函数极值的一种方法;
3) 沿函数在该点处目标函数下降最快的方向作为搜索方向;
最速下降法的迭代公式是
+人』商’ (10. L 10)
其中 舟 是从王商出发的搜索方向,这里取在点『峪处的最速王隆五恒1,即
扁是从 f 出发沿方向d国进行一维搜索的步长,即不满足 f(xik) +A"“)= +如德, < 10. 1. 11 >
计算步骤如下:
绘定初百 /y # ,允许误差e>0 ,置4 = L
计算搜索方向dik) =-^f(xiki\
⑶若II du)II We,则停止计算:否则,从 V出发,沿d"'进行一维搜索,求 m使 f(x(t> +A*rfc>1 士/Uf").
(4)令广”=廿)+心"函,置*"项卜1 ,转步骤("
模式搜索法(步长加速法)
解决的是无约束非线性规划问题;
不需要求目标函数的导数,所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常有效。
模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的 是探测有利的下降方向,而模