文档介绍：2
无约束最优化直接方法和间接方法的异同
无约束最优化直接方法和间接方法的异同
一、什么是无约束最优化
最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依
1．程序简单，存储量少，具有最速下降法的优点，而在收敛速度上比最速下降法快，具有二次收敛性；
2．适用于维数较高(50维以上)、一阶偏导数易求的优化问题。共轭梯度法在第一个搜索方向取负梯度方向，而其余各步的搜索方向将负梯度偏转一个角度，即对负梯度进行修正，实质上是对最速下降法的改进。在n次迭代后如果没有达到收敛精度，则通常以重置负梯度方向开始，直到满足精度为止。

牛顿法成功的关键在于利用了Hesse矩阵提供的曲率信息，而计算Hesse矩阵工作量大，并且有的目标函数的Hesse矩阵很难计算，甚至不好求出。为了克服牛顿法的缺点，人们提出仅利用目标函数一阶导数的方法，拟牛顿法就是利用目标函数值f和一阶导数g的信息，构造出目标函数的Hesse矩阵的曲率近似,
同时具有收敛速度快的优点。

无优化方法的一般策略是，给定点x（k）后，定义搜索方向d（k），再从x（k）出发沿着d（k）做一维搜索，而信赖域方法另辟蹊径，给定点x（k）后，确定一个变化范围，通过常取x（k）为中心的区域，称为信赖域，在此域内优化目标函数的二次逼近式，按照一定模式求出后继点x（k+1）。如果不满足精度要求，再定义x（k+1）为中心的信赖域，并在此域内优化目标函数新的二次逼近式，直到达到精度。该方法的特点是在一定条件下具有全局收敛性。

搜索模式法是Hooke和Jeeves在1961年提出的，这种方法的基本思想，从几何意义上看，寻找具有较小函数值的“山谷”力图使迭代产生的序列沿“山谷”走向逼近极小点，算法从初始基点开始，包括两种类型的移动：探测移动和模式移动。探测移动依次沿n个坐标轴进行，用以确定新的基点和有利于函数值下降的方向。模式移动沿相邻两个基点连线方向进行，试图顺着“山谷”使函数值更快地减小。有如下特点：
5
1．最简单的直接优化方法之一，方法易懂，程序简单，无需求导，计算费用低；
2．可靠性差、效率低，当目标函数等值线具有脊线形态时可能失败；
3・该方法适用于目标函数导数不存在或不易求得、维数较低（一般，1W5）的情况。其探索路线较长，而且显然是问题的维数愈多求最优解得效率愈低。
单纯形法也是一种不使用导数的求解无约束极小化问题的直接搜索方法，与前面几种方法不同，在这种方法中，给定Rn中的一个单纯形后，求出n+1个顶点上的函数值，确定出有最大函数值的点，和最小函数值的点，然后通过反射、扩展、压缩等方法求出一个较好点，用它取代最高点，构成新的单纯形，或者
6
通过向最低点收缩形成新的单纯形，用这样的方法逼近极小点。

Powell法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。
该方法直接利用函数值逐次构造共轭方向，并在改进的算法中增加了判断原方向组是否需要替换和哪个方向需