文档介绍：非线性规划和Matlab实现
非线性计划基础概念及分类
当目标函数或约束条件中有一个或多个为非线性函数, 则称这么计划问题为非线性计划（Nonlinear Programming）。其数学模型为:
非线性计划
无约束非线性计划
约束非线性计划
梯度(gradient)
设n元函数f(x)在点x处可微, 则称以下向量为f(x)在点x处梯度
梯度几何意义: 假如函数f(x)在点x处梯度是非零向量, 那么就是f(x) 等值面在点x处法向量, 垂直于等值面在点x处切平面, 且指向f(x) 函数值增大方向。
Hessian矩阵(Hessian Matrix)
设n元函数f(x)在点x处二次可微, 将f(x)在x点二阶偏导数按以下组成 , 则称是函数f(x)在x点 Hessian矩阵。
Hessian矩阵和梯度内在关系
方向导数(direction derivative)
设f(x)在点x处可微, d是给定非零向量, 假如极限:
存在, 则称此极限为函数f(x)在点x处沿着方向d 方向导数, 记:
下降方向(descent direction)
设d是非零向量, 若存在正数ε > 0, 当tЄ(0, ε)时, 必有:
则称方向d是函数f(x)在点x处一个下降方向。
假如函数f(x)在点x沿着方向d 方向导数满足条件:
那么方向d必是函数f(x)在点x处一个下降方向。
负梯度方向称为最速下降方向。
参看: Lecture 5 Non-linear
判定是否下降方向一个简单方法就是看该方向与负梯度方向之间夹角。
正定矩阵
考虑二次型 , z 为n维向量
正定二次型: 若对于任意 , 有 ;
半正定二次型: 若对于任意 , 有 ;
负定二次型: 若对于任意 , 有 ;
半负定二次型: 若对于任意 , 有 ;
不定二次型: , 有 , 又 , 有 .
二次型为正定充要条件是它矩阵左上角各阶主子式都大于零.
矩阵M 全部特征值λi都是正。
函数Taylor展开
相关数学基础知识参看: Lecture 4 Mathematical