梯度法和共轭梯度法.ppt

文档介绍：梯度法和共轭梯度法
第一页，共25页
一. 无约束最优化问题
解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。
第二页，共25页
二. 梯度法（最速下降法）
迭代公式：
如何选择下降最快的方向？
第三页，共25页
梯度法（最速下降法）：
梯度法算法步骤：
第四页，共25页
解：
第五页，共25页
收敛性
性质.
第六页，共25页
第七页，共25页
最速下降法反映的目标函数的一种局部性质,从局部看, 最速下降方向确是目标函数值下降最快的方向,选择这样的方向进行搜索是有利的.
但从全局来看,由于锯齿现象的影响, 即使向着极小点移近不太大的距离,也要经历不小的”弯路”,因此收敛速度大为减慢.
最速下降法一般适用于计算过程的前期迭代,或者作为间插步骤.
第八页，共25页
第九页，共25页
共轭梯度法
1. 共轭方向和共轭方向法
共轭是正交的推广。
第十页，共25页