文档介绍：无约束极值问题的PDF求解方法
摘要:非线性规是研究约束非线性规划问题条件下，某一非线性目标函数达到最 优的问题；目前非线性规划还没有适于各种问题的一般算法，通常不能用解析方 法求出它的精确解。本文在学习最优化方法课程的基础上，运用改进牛[g(x*) — g(x(k)) — G (x(k))(x* — x(k))] II =I[g (x*) — g (x(k)) —V g (x(k))T (x* - x(k))] I
i 8 i i i i
=I 2(x* 一 x(k))T V2g (x*)T (x* 一 x(k)) |
5 5r 、合 3f(x*)
=—m (x* — x(k))T (x* — x(k)) I
j j 3x 3x 3x i i
l j i j l
V 1II(x* — x(k))T II2 室 I 如Z I
2 8 3x 3x 3x
l j i j l
V L B n2 I I (*x (xt) ) 21
2 8
根据 定义与 II x(k+1) — x* II =II G(x(k))-1[g(x*) — g(x(k)) — G(x(k))(x* — x(k))]II 得
II x(k+1) — x* II <岑2 II x(k) — x* II 2 这就证明 了二阶收敛。
若初始点 x(0) G N0 = ｛ - x*
2a
— ，
Py n 2
卜面再证序列｛x(k)｝收敛到x*
a< 0｝ u N，由数学归纳法｛x(k)｝ U N ；
0
当 k = 1，由上式II x(1) — x* IIV Pyn2 II x(0) — x* II2，从而II x(1) — x* IIVa II x(0) — x* II，这 2
说明 x(1) G N ；
0
假设k = m，x(k) g N，下证x(k+1) g N。事实上，
II x(k+1) - x* II < °" n || x(k) - x* l|2 <a || x(k) - x* II
8 2 8 8
即x(k+1)e N，从而推理得证｛x(k)｝ u N0，其次又
II x(k+i)—x* II <a II x(k) — x* II < <ak+^x(0) — x* %
k r+8, x( k+1) T x* ；这这就证明了牛顿法迭代点列｛x(k)｝收敛到x*，并且是二 阶收敛；
2. PDF法
实际问题中，因为目标函数往往相当复杂，牛顿法计算黑塞矩阵及逆阵难度 大，为了避免巨大的计算量，常常构造黑塞阵逆阵G(x)近似矩阵H(x(k))；下面 给出H(x(k))的构造：
当f(x)是二次函数时，其黑塞矩阵G-1为常数阵，任意两点x(k)、x(k+i)处的 梯度差等于
Vf(x(k+1)) — f(x(k)) = G-1(x(k+1)- x(k))，或(x(k +1) -xoc)) = G[ Vf(xE+) -Xf(x©)] 对于非二次函数，仿照上述情形，要求黑塞阵逆阵第k +1次近似阵H(x(k+1))满足 关系
(x(k+1) — x(k)) = H(x(k+1))[V f(x(k+1))-V f(x(k))] (2 -1)
此式称为拟牛顿条件。
若令
Jag (k) =v f(x