无约束优化方法.pptx

文档介绍：解析法(间接解法)
数值法(直接解法)
数学模型复杂时不便求解
可以处理复杂函数及没有数学表达式
的优化设计问题
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
无约束优化方法分类
利用目标函数的一阶或二阶导数
利用目标函数值
（最速下降法、共轭梯度法、牛顿法）
（坐标轮换法、鲍威尔法等）
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子
即求一维搜索的最佳步长，既有
由此可知，在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。
例4-1 求目标函数
的极小点。
作业
第四章****题
4-3设目标函数为 ，试用最速下降法求其最优解。
第三节牛顿型方法
在第三章中，我们已经讨论了一维搜索的牛顿方法。
得出一维情况下的牛顿迭代公式
第三节牛顿型方法
对于多元函数，在
泰勒展开，得
设
为函数的极小点，根据极值的必要条件
这就是多元函数求极值的牛顿法迭代公式。