文档介绍：梯度法和共轭梯度法无约束最优化问题 2. 梯度法 3. 共轭方向法 4. 共轭梯度法一. 无约束最优化问题无约束最优化问题 nRxtsxf?..)( min 有一阶连续偏导数。其中)(xf 解析法:利用函数的解析性质构造迭代公式。二. 梯度法(最速下降法) 迭代公式: kk kkdxx????1如何选择下降最快的方向? )( kxf?)( kxf??函数值下降最快的方向函数值增加最快的方向函数值下降的方向 kx 梯度法(最速下降法): 也称为最速下降方向; 搜索方向: ,)(.1 kkxfd ???。即满足取最优步长搜索步长)( min )(,:.2 kkkk k kdxfdxf???????梯度法算法步骤: 。令允许误差给定初始点 1,0,.1 1???kRx n?;)(.2 kkxfd ???计算搜索方向 k kkxd??否则,求最优步长为所求极值点; 则停止计算, 若, || ||.3?。使得)( min )( kkkk kdxfdxf??????。转令令2,1:,.4 1?????kkdxx kk kk?,)1,2(,3)( min :. 122 21 Txxxxf???设初始点为用最速下降法求解例。求迭代一次后的迭代点 2x 解: ,)6,2()( 21 Txxxf???.)6,4()( 11Txfd???????.)61,42( 11Tdx????????, 令 2211)61(3)42()()(???????????dxf)( min ???求解 0)61(36 )42(8)(???????????令62 13 1??? Tdxx)31 8,31 36 ( 11 12??????收敛性)( min )( kkkk kdxfdxf??????。则有 0)(??? kTkk kddxf?性质. 证明: 所以, 令)()( kkdxf?????.)()( kTkkddxf???????)( min )( kkkk kdxfdxf???????.0)()(?????? kTkk kkddxf???满足步长有一阶连续偏导数,若设 kxf?)( 注: 。 kkkTkdddd?????110)( 所以, 因为梯度法的搜索方向)( 1kk kkdxfd??????锯齿现象,其等值面近似数可以用二次函数近似在极小点附近,目标函椭球面。 1x *x 2x 3x 它只是。标函数的一种局部性质最速下降方向反映了目快的方向。局部目标函数值下降最注?的算法。最速下降法是线性收敛几何解释设有二次函数)()(2 1)(xxAxxxf T???对称正定矩阵, 是其中 nnA?是一个定点。 x 的等值面则函数)(xfcxxAxx T???)()(2 1 为中心的椭球面。是以 x x 三、共轭方向法 1. 何谓共轭方向? 由于,0)()(????xxAxf,0)( 2???AxfA 所以正定, 因为的极小点。是因此)(xfx ,)( 2Axf??而x )()(2 1)(xxAxxxf T???点, 是在某个等值面上的一设)0(x 中的一个方向, 是 nRd )1(。搜索得到点以最优步长沿着)1( )1()0(x dxo 1x x )1(d )1(x )2(d )0(x)x(fx )(1 1?处的法向量为该等值面在点所在等值面的切向量。是点则)()(xd 11.)()( )1()1(xxAxf???o 1x x )1(d 正交, 与则)( )1()1(xfd?。即0)( )1()1(??xfd T, )1()2(xxd??令)1(x 所以。 0 )2()1(? Ad d T 共轭。小点的向量关于指向极向量与由这一点即等值面上一点处的切 A )2(d )x(f 1??