BP神经网络.ppt

文档介绍：第4章 BP网络
概述
基本BP算法
算法的改进
算法的实现
算法的理论基础
几个问题的讨论
概述
1、BP算法的出现
非循环多级网络的训练算法
UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述
1982年,Paker就完成了相似的工作
1974年,Werbos已提出了该方法
2、弱点:训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。
3、优点:广泛的适应性和有效性。
基本BP算法
网络的构成
神经元的网络输入:
neti=x1w1i+x2w2i+…+xnwni
神经元的输出:
输出函数分析

f ′(net)

o
0
1
1
(0,)
net
(0,0)
o
的值尽量控制在收敛比较快的范围内
可以用其它的函数作为激活函数,只要该函数是处处可导的
网络的拓扑结构
x1
o1
输出层
隐藏层
输入层
x2
o2
om
xn
…
…
…
…
…
…
…
W(1)
W(2)
W(3)
W(L)
网络的拓扑结构
BP网的结构
输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定
实验:增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。
BP网一般都选用二级网络。
网络的拓扑结构
x1
o1
输出层
隐藏层
输入层
x2
o2
om
xn
…
…
…
…
W
V
训练过程概述
样本:(输入向量,理想输出向量)
权初始化:“小随机数”与饱和状态;“不同”保证网络可以学。
1、向前传播阶段:
(1)从样本集中取一个样本(Xp,Yp),将Xp输入网络;
(2)计算相应的实际输出Op:
Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))
训练过程概述
2、向后传播阶段——误差传播阶段:
(1)计算实际输出Op与相应的理想输出Yp的差;
(2)按极小化误差的方式调整权矩阵。
(3)网络关于第p个样本的误差测度:
(4) 网络关于整个样本集的误差测度:
误差传播分析
1、输出层权的调整
wpq= wpq+∆wpq
∆wpq=αδqop
=αfn′(netq)(yq-oq)op
=αoq(1-oq) (yq-oq)op
wpq
ANp
ANq
第L-1层
第L层
∆wpq