文档介绍：第四章 无约束优化方法(fāngfǎ)
一、概述
二、最速下降法（梯度(tī dù)法）
三、牛顿型方法（牛顿法和阻尼牛顿法）
四、共轭方向和共轭方向法
五、共轭梯度(tī dù)法
六、变尺度法
七、坐标轮换法
第一页，共61页。
实际中的工程问题大都是在一定限制条件下追求(zhuīqiú)某一指标为最小，属于约束优化问题。
为什么要研究无约束优化问题？
1）有些实际问题，其数学模型本身就是一个无约束问题；
2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础；
3）约束优化问题的求解可用通过一系列无约束优化方法来达到(dá dào)。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
第二页，共61页。
1、无约束优化问题(wèntí)
求 维设计变量 使目标(mùbiāo)函数
，而对 没有任何(rènhé)限制条件。
2、求解方法
（1）利用极值条件来确定极值点的位置。
（2）数值计算方法——搜索方法
基本思想：从给定的初始点 出发，沿某一搜索方向
进行搜索，确定最佳步长
使函数值沿
下降
最大。依此方式不断进行，形成迭代的下降算法：
一、概述
第三页，共61页。
3、算法(suàn fǎ)框图
第四页，共61页。
4、无约束优化方法(fāngfǎ)的分类
根据确定其搜索方向 方法不同，可分为：
（2）利用目标函数的一阶或二阶导数(dǎo shù)的无约束优化方法（或称间接法）如：最速下降法（梯度法）、共轭梯度法、牛顿法及变尺度法；
间接法除了要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵；
（1）只利用目标函数值的无约束优化方法（或称直接法，即不使用导数信息），如：坐标轮换法、单形替换法及鲍威（Powell）法。
直接法不必求函数导数，只计算目标函数值。适用(shìyòng)于求解变量个数较少（小于20）的问题，一般情况下效率较低。
搜索方向的构成问题是无约束优化方法的关键。
第五页，共61页。
二、最速下降(xiàjiàng)法（梯度法）
1、基本(jīběn)思想
函数的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，即利用负梯度作为(zuòwéi)搜索方向，故称为最速下降法或梯度法。
搜索方向取该点的负梯度方向即 ，使函数值在该点附近的范围内下降最快。
第六页，共61页。
2、最速下降(xiàjiàng)法的原理
（1）使 ，按此规律(guīlǜ)不断走步，形成迭代算法：
（2）其步长因子(yīnzǐ) 取一维搜索的最佳步长，即
根据一元函数极值的必要条件和多元复合函数求导公式，得
或
第七页，共61页。
由此可知，在最速下降法中，相邻两个迭代(dié dài)点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。这就是说在迭代(dié dài)点向函数极小点靠近的过程，走的是曲折的路线，形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。
最速下降法的搜索(sōu suǒ)路径
函数梯度为局部(júbù)性质，因此并非“最快”。
第八页，共61页。
梯度(tī dù)法的迭代历程
第九页，共61页。
方法特点
1）初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个(yī ɡè)不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点；
2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。
第十页，共61页。