文档介绍：无约束最优化直接方法和间接方法的异同
一、什么是无约束最优化
最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法
研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的
主要研究对象是各种有组织系统的管理问题及其生产经营活动。其的目的在于针
对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高
系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益
进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和
不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等
各个领域，发挥着越来越重要的作用。
最优化问题分为无约束最优化和约束最优化问题，约束最优化问题是具有辅助函数和形态约束条件的优化问题，而无约束优化问题则没有任何限制条件。无约束最优化问题实际上是一个多元函数无条件极值问题。
虽然在工程实践中，大多数问题都是具有约束的优化问题，但是优化问题的
处理上可以将有约束的优化问题转化为无约束最优化问题，然后按无约束方法进
行处理。或者是将约束优化问题部分转化为无约束优化问题，在远离极值点和约
束边界处按无优化约束来处理，在接近极值点或者约束边界时按照约束最优化问
题处理。所以无约束优化问题的解法不仅是优化设计方法的基本组成部分，也是
优化方法的基础。
无约束最优化方法大致分为两类：一类是使用导数的间接方法，即在计算过
程中要用到目标函数的导数；另一类是直接方法，即只要用到目标函数值，不需要计算导数。这里我们比较这两类方法的异同。
二、无约束最优化方法
使用导数的间接方法
最速下降法
函数的负梯度方向是函数值在该点下降最快的方向。将 n 维问题转化为一系
列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最
速下降法或梯度法。
无约束优化问题的数学模型可以表示为：

min f x

x Rn

，我们假设函数
x
f x 具有一阶连续偏导数。最速下降法在处理这一类问题时，从初始迭代点 x 1
出发，选择一个目标函数值下降最快的方向 d k ，以利于尽快达到极小点。最速
下降法的迭代公式为：
1)
给定初点 x 1
Rn ，允许误差
0 ，置 k 1 ；
2)
计算搜索方向 d k
f x k
；
3)
若 d k
，则停止计算；否则，从 x k
出发，沿着 d k 进行一维搜索，求 k ，
使得：
f (x k
kd k
) min f (x k
d k
)
4)
令 x k 1
x k
kd k
，置 k
k 1，转步骤 2。
梯度下降法有如下特点：
1．理论明确，程序简单，对初始点要求不严格。
2．对一般函数而言，梯度法的收敛速度并不快（线性收敛），因为最速下
降方向仅仅是指某点的一个局部性质。