文档介绍：最优化方法 Optimization 第十二讲第十章使用导数的最优化方法(分三讲) 无约束优化问题算法?最速下降法?牛顿法?共轭梯度法?拟牛顿法?信赖域法?最小二乘法 min ( ) . . n f x st x E ?最速下降法最速下降方向 min ( ) . . ( ) n f x s t x E f x ?具有一阶连续偏导数取搜索方向: )( )()(k kxfd ???步骤: 。置允许误差给定初点 1,0 ,.1 )1(???k Ex n?).( .2 )()(k kxfd ???计算搜索方向。,使进行一维搜索,求沿出发, 从,则停止计算;否则, 若)( min )( .3 )()(0 )()( )( )( )( kk kk k k k k kdxfdxf d x d??????????。,返回,置令21: .4 )()()1(?????kkdxx kk kk?带精确线搜索的最速下降法例: 2 2 (1) 1 2 min ( ) ( 1) ( 1) (0, 0) , 1 5. T f x x x x e ?? ??????求,取第一次迭代?? Txxxf)1(2 ),1(2)( 21????解: ????????22,)2,2()2,2( )1( )1(d d T T。进行一维搜索,求步长出发,沿方向从 1 )1( )1( ? d x?)( min )( min )1()1(0 0dxf?????????.)12()12()(,)2,2( 2 2 )1()1( ?????????????? Tdx?2 10)12(4)12(4)( 1????????????,得令第二次迭代为最优解。 T Td d)1,1(,0 )0,0( )2( )2(??????.)1,1( )1(1 )1()2( Tdxx????令?? Txxxf)1(2 ),1(2)( 21????最速下降法的收敛性????( ) ( ) ( ) { | ( ) 0} ? k k f x x f x x x x ?? ????设是连续可微实函数,解集合, 最速下降算法产生的序列含于某个紧集,则序列的每个聚点。二次函数情形 1 ( ) 2 T T f x x Qx b x ? ? 10 n n n Q a A ? ??? ?????其中是正定矩阵,其特征值为????( ) *, * 0. 1 ( ) * * , 21 ( ) ( ) * *. 2 TT f x x Qx b E x x x Q x x E x f x x Qx ? ?? ? ?? ?设的唯一极小点为则定义函数则( ) ( ) ( ) def f x E x Qx b g x ? ???????( 1) ( ) ( ) ( ) ( ) ( ) . k k k k k k k k k k x x d x g g f x Qx b ? ??? ????? ??其中最速下降法表示为??????????( ) ( ) ( ) ( ) ( )12 T k k k T k k k k k T k k k k k T k k f x g x g Q x g b x g g g f x g g Qg ? ???? ?? ?????? ? ??在处达到极小。( 1) ( ) T k k k k kT k k g g x x g g Qg ?? ??????????? 2 ( 1) ( ) 1 1 1 . T k k k k T T k k k k g g E x E x g Qg g Q g ???