牛顿法和拟牛顿法.pptx

文档介绍：牛顿法和拟牛顿法
无约束优化问题
线搜索方法
dk :搜索方向(下降就可):
dk ▽f(xk) < 0
αk : 搜索步长:
1) 精确搜索: f(x+αd ) 达到最小
2) Wolfe 搜索: (两个条件)
精确搜索
Wolfe 非精确搜索
线搜索方法的下降
方法收敛之关键:估计
搜索方向与最速下降方向的夹角
线搜索方法的收敛性
定理如果 f(x) 下方有界,如果搜索方向与最速下降法的夹角不靠近π/2,则由线搜索方法产生的点列 xk 满足:

|| gk || → 0
搜索方向
最速下降法:
共轭梯度法:
牛顿法:
牛顿方向
牛顿方向
是如下问题的解