文档介绍：最优化方法
目录
第一章最优化问题概述
第二章线性规划
第三章无约束最优化方法
第四章约束最优化方法
.
2
第四章约束最优化方法
作业
P212 (ii),(iii)
P213 (ii)
P214 (ii)
.
4
§ 约束最优化问题的最优性条件
问题
在求解问题之前,我们先讨论其最优解的必要条件,充分条件和充要条件.
这些条件是最优化理论的重要组成部分,对讨论算法起着关键的作用.
有的算法甚至可以直接用来求解问题.
.
5

考虑n=2,l=(x)=,必落在这一曲线上.
在最优点处作曲线的切线.
考虑f(x)在最优点处的负梯度方向
问题
.
6
等式约束问题的最优性条件
若–g*与上述切线不垂直,则可以在曲线上移动充分小的距离,使 f 的函数值下降.
这与”最优点”.
或,f(x)在最优点处的梯度方向就是c1(x)=0在该点处的法向.
而c1(x)=0在该点处的法线方向为
c1(x)=0
因此,存在数l1,使得
-g*
x*
f(x)=f*
.
7
等式约束问题的最优性条件
同样可以说明(-)g*与曲线的切线垂直.
因此,曲面在x*处的法向量与梯度向量g*共面.
存在数l1, l2,使得
如果n=3,l=2,约束曲线在三维空间中曲面c1(x)=0和曲面c2(x)=0的交线.
.
8
等式约束问题的一阶必要条件
(一阶必要条件)
若(i)x*是上述问题的局部最优解;
(ii)f(x)与ci(x)(i=1,2,···,l)在x*的某邻域内连续可微;
(iii)
线性无关
则存在一组不全为零的数
使得
.
9
等式约束问题的一阶必要条件
对于上述问题,引入n+l元的Lagrange函数
其中c(x)=(c1(x),···,cl(x))T,l=(l1,···,ll)T.
称l为Lagrange乘子向量.
Lagrange函数的梯度为
.
10