文档介绍：BP神经网络结构及算法
1986年,elland领导的科学家小组在《Parallel Distributed Processing》一书中,对具有非线性连续转移函数的多层前馈网络的误差反向传播算法(Error Back Proragation,简称BP)进行了详尽的分析,实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常釆用误差反向传播算法,人们也常把多层前馈网络直接称为BP网。釆用BP算法的多层前馈网络是目前应用最多的神经网络。
BP神经网络的结构
BP网络有三部分构成,即输入层、隐含层(又称为中间层)和输出层,其中可以有多个隐含层。各层之间实现完全连接,且各层神经元的作用是不同的:输入层接受外界信息;输出层对输入层信息进行判别和决策;中间隐层用来表示或存贮信息。通常典型的BP网络有三层构成,即只有一个隐层。三层BP神经网络的结构可用图1表示。
图1 三层BP神经网络机构图
BP神经网络的学****算法
BP算法的基本思想是,学****过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐含层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐含层向输入层逐层反传、并将误差分摊给各层的所有神经元,从而获得各层神经元的误差信号,此误差信号即作为修正各神经元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的,权值不断调整的过程,也就是网络的学****训练过程。此过程一直进行到网络输出误差减少到可接受的程度,或进行到预先设定的学****次数为止,标准BP算法流程见图2。
图2 标准BP算法流程
在实际的应用中,三层前馈网络基本就能满足人们的需求,即一个输入层、一个隐含层和一个输出层,由于只有一个隐含层,所以也称为单隐层BP网络。三层前馈网中,输入向量为 P=p1,p2,…,pj…,pRT,如加入p0=1,可为隐层神经元引入阈值;隐层输出向量为Z=z1,z2,…,zk,…znT,如加入y0=1,可为输出层神经元引入阈值;输出层输出向量为Y=y1,y2⋯,yj⋯ymT;期望输出向量为T=t1,t2⋯,tj⋯tmT。输入层到隐层之间的权值矩阵用V表示,V=v1,v2⋯,vk⋯vqT,其中列向量vk为隐层第k个神经元对应的权向量;隐层到输出层之间的权值矩阵用W表示,W=w1,w2⋯,wj⋯wmT,其中列向量vj为输出层第j个神经元对应的权向量。下面具体分析各层信号之间的数学关系。
对于输出层,有:
yj=fnⅇtj j=1,2,⋯m Ⅰ
nⅇtj=k=0qwkjzk j=1,2,⋯m Ⅱ
其中yj为输出层的输出,nⅇtj为输出层第j个神经元的净输入,fx为转移函数,wkj是隐层第k个神经元与输出层第j个神经元之间的权值。zk是隐层第k个神经元的输出值。
对于隐含层,有:
zj=fnⅇtk k=1,2,⋯q Ⅲ
nⅇtk=i=0nvikpi k=1,2,⋯q Ⅳ
其中