文档介绍：神经网络 配套
第1页，共35页，编辑于2022年，星期一
BP算法的缺点
算法的收敛速度很慢
可能有多个局部极小点
BP网络的隐层神经元个数的选取尚无理论上的指导，而是根据经验选取
BP网络是一个前向网络，具有非线性映射能力et ak+1 = ck ; bk+1 = bk ; ck+1 = dk
d k+1 = b k+1 - (1-t)(b k+1 -a k+1 )
Fc= Fd; Fd=F(d k+1 )
end
end until bk+1 - ak+1 < tol
第20页，共35页，编辑于2022年，星期一
共扼梯度反向传播法(CGBP)
w11,1
w21,1
w11,1
w21,1
中间步骤
完整轨迹
第21页，共35页，编辑于2022年，星期一
Newton方法
如果性能指数是函数平方的和:
则梯度的第 j 个元素是:
第22页，共35页，编辑于2022年，星期一
矩阵形式
梯度能写成矩阵形式:
其中J是Jacobian矩阵:
J
x
(
)
v
1
x
(
)
¶
x
1
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
v
1
x
(
)
¶
x
2
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
¼
v
1
x
(
)
¶
x
n
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
v
2
x
(
)
¶
x
1
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
v
2
x
(
)
¶
x
2
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
¼
v
2
x
(
)
¶
x
n
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
¼
¼
¼
v
N
x
(
)
¶
x
1
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
v
N
x
(
)
¶
x
2
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
¼
v
N
x
(
)
¶
x
n
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
=
第23页，共35页，编辑于2022年，星期一
Hessian矩阵
第24页，共35页，编辑于2022年，星期一
Gauss-Newton方法
x
k
J
T
x
k
(
)
J
x
k
(
)
[
]
1
–
J
T
x
k
(
)
v
x
k
(
)
–
=
设S(x)很小，Hessian矩阵近似表示为:
Newton方法成为:
第25页，共35页，编辑于2022年，星期一
Levenberg-Marquardt(LM)算法
Gauss-Newton方法近似表示Hessian矩阵如下：
这个矩阵可能奇异, 但是可进行如下转换：
如果H的特征值和特征向量是：
那么
G的特征值
对所有i，增加μ以保证 ，可使G成为正定，所以矩阵G可逆。由此可导出如下LM算法：
第26页，共35页，编辑于2022年，星期一
mk 的调整
当mk®0，LM方法变成Gauss-Newton方法：
当mk®¥, LM方法变成有小的学****速度的最速下降算法：
所以，开始时取小的mk值用Gauss-Newton法加速收敛。如果某一步不能获得较小的F(x)值，那么增加mk值（乘以一个因子 ）重复那一步直到F(x)值的减少。F(x)值最终一定会减少，因为我们将在最速下降方向上用很小的步长。
第27页，共35页，编辑于2022年，星期一
应用到多层网络
多层网络的性能指数是:
误差向量是:
参数向量是:
两个向量的维数是:
第28页，共35页，编辑于2022年，星期一
Jacobian矩阵
J
x
(
)
e
1
1
,
¶
w
1
1
,
1
¶
-
-
-
-
-
-
-
-
-
-
-
-
-
-
e
1
1
,