文档介绍：关于规划数学非线性规划基本知识
第一页，讲稿共三十八页哦
非线性规划基本概念（）
1 非线性规划模型分类
一般无约束极值形式为：
一般有约束极值问题形式为：
第二页，讲稿共三十八页哦
例1 在层次已知的情况下求
（1）确定搜索方向：不同的搜索方向对应不同的算法
定理：式（1）中按最佳步长得到的新的点处的梯度和其搜索方向正交。即
证明：
得即为最佳步长
第十七页，讲稿共三十八页哦
例 7：试求目标函数在点处的
负梯度方向，并求沿这个方向移动最佳步长后新点的目标函数值。
解：由于
则函数在处的负梯度方向是
第十八页，讲稿共三十八页哦
2) 收敛性：
若其中为极小点。则称该算法是有效的
下降算法得到的点列不一定收敛到极小点，它依赖于初始点的选择。
例显然为极小点
初始点选
不可能收敛于
初始点选
第十九页，讲稿共三十八页哦
3 )收敛速度：
设收敛于若存在与迭代次数无关的数
和使得从开始都有
则称为阶收敛。
线性收敛，
超线性收敛，
二阶收敛。
第二十页，讲稿共三十八页哦
4) 计算机迭代时终止计算的准则
（1）绝对误差
（2）相对误差
(3) 根据目标函数梯度
第二十一页，讲稿共三十八页哦
一维搜索
本节讨论的主要问题是

解决这个问题的方法称为一维搜索。这种方法不仅对于解决一维最优化本身具有实际意义，而且也是解多维最优化问题的重要支柱。
在微积分中解的方法限于方程可以直接求解出来的情况。本节介绍的方法对不作严格要求，它可以很复杂，其导数可能不存在或者很难求出。当然对于可以求导数的情况，相应的方法也会简单些。
第二十二页，讲稿共三十八页哦
（1）黄金分割法：适用于一般的函数。（试探法）
（2）二次插值法：
（3）Newton切线法：适用于的一阶导数和二阶导数都可求出的情况。（函数逼近法）
本章将介绍以下几种直线搜索方法：
第二十三页，讲稿共三十八页哦
1 搜索区间的确定
定义1：设，t*是在L 上的全局极小点。如果对于L上任取的两点和且 < 均有 ≤t* ，当 ≥t*时，
则称是区间L上的单谷函数。
以下假设一元函数是单谷函数。
0
t
t*
t*
t
.
.
第二十四页，讲稿共三十八页哦
定义2：，t*是在L上的全局极小点。若找到 ,则称此区间
为的极小点的一个搜索区间，。
单谷函数的性质：
设是单谷函数极小点的一个搜索区间。在
上任取两点，使 ,若则
是极小点的一个搜索区间；若，则
是极小点的一个搜索区间。
.
.
.
.
a
b
第二十五页，讲稿共三十八页哦
单谷函数的这一性质可用来将搜索区间无限缩小，以至求到极小点。
本章下面就介绍一维搜索法.
证明：利用反证法证明。对于后一种情况，即
若不是搜索区间
即
的极小点必在中。
此时有 ,
矛盾。
根据单谷函数定义知：
故是搜索区间，同样可证前种情形
第二十六页，讲稿共三十八页哦
第二十七页，讲稿共三十八页哦
（负值舍去）
第二十八页，讲稿共三十八页哦
试探点的公式为：
左试点
右试点
为了算法描述方便我们记试