文档介绍：无约束优化方法
第四章 无约束优化方法
，
（4）对于多维无约束问题来说，古典极值理论中令一阶导数为零，但要求二阶可微，且要判断海赛矩阵为正定才能求得极小点，这种方法有理论意义，但无实用价值。和一维问题一样，若多元函数F(X)不可微，亦无法求解。但古典极值理论是无约束优化方法发展的基础。
第四章 无约束优化方法
第一节 概 述
，
对于无约束优化问题的求解，可以直接应用第二章的极值条件来确定极值点位置。这就是把求函数极值的问题变成求解方程
无约束优化问题是：
求n维设计变量
使目标函数
这是一个含有n个未知量，n个方程的方程组，并且一般是非线性的。对于
非线性方程组，一般是很难用解析方法求解的，需要采用数值计算方法逐
步求出非线性联立方程组的解。
第四章 无约束优化方法
第一节 概 述
，
数值解法：是从给定的初始点x0出发，沿某一搜索方向d0进行搜索。确定最佳步长α，使函数值沿d0方向下降最大。依此方式按下述公式不断进行，形成迭代的下降算法。
1）选择迭代方向即探索方向；
2）在确定的方向上选择适当步长迈步进行探索。
各种无约束优化方法的区别就在于确定其搜索方向dk的方法不同。所以搜索方向的构成问题是无约束优化方法的关键。
第四章 无约束优化方法
第一节 概 述
，
第四章 无约束优化方法
第一节 概 述
，
无约束优化方法可以分成两类：
一类是利用目标函数的一阶或二阶导数的无约束优化方
法（如最速下降法、共轭梯度法、牛顿法及变尺度法）；
另一类只利用目标函数的无约束优化方法（如坐标轮换
法、单形替换法及鲍威尔法等）。
第四章 无约束优化方法
第二节 最速下降法
，
最速下降法的迭代公式
定义：
最速下降法就是采用使目标函数值下降得最快的负梯度方向 作为探索方向，来求目标函数的极小值的方法，又称为梯度法。
第四章 无约束优化方法
第二节 最速下降法
，
为了使目标函数值沿搜索方向 能够获得最大的下降值，其步长因子 应取一维搜索的最佳步长。即有
根据一元函数极值的必要条件和多元复合函数求导公式，得
第四章 无约束优化方法
第二节 最速下降法
，
在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。
图4-2 最速下降法的搜索路径
第四章 无约束优化方法
第二节 最速