文档介绍：第2章 BP神经网络
已经发展了数十上百种神经网络模型,应用最广泛的是误差反向传播算法(Back Propagation Algorithm,简称BP算法),相应的网络称为BP网络。
由多层处理单元组成,每层神经元个数不同,通过样本自学****建立网络输入变量和输出变量之间的非线性映射关系。
§2-1 BP神经网络基本原理
BP网络一般由输入层、隐层和输出层组成,隐层可以为一层或多层,每层上的神经元称为节点或单元。
标准BP模型由3个神经元层次组成,,输入层有L个处理单元,中间的隐层有M个处理单元,输出层有N个处理单元。
标准BP模型由3个神经元层次组成,,输入层有L个处理单元,中间的隐层有M个处理单元,输出层有N个处理单元。
三层BP神经网络
BP网络误差反向传播算法的基本思想
BP网络按照感知器的工作原理进行信息处理:
(2-1)
式中为t时刻输出, 为输入向量的一个分量, 为t时刻第i个输入的加权,θ为阈值, 为作用函数。
感知器的学****规则为
(2-2)
式中η为学****率,d为期望输出(又称教师信号), 为感知器的输出。
感知器通过不断调整权重,使得对一切样本均保持不变时,学****过程就结束。
BP网络误差反向传播算法的基本思想是:
根据输出层内各处理单元的正确输出与实际输出之间的误差进行连接权系数的调整,使网络的输出尽可能接近期望的输出,直到满足事先给定的允许误差,学****停止。
由于隐层的存在,输出层对产生误差的学****必须通过各层连接权值的调整进行,因此,隐层要能对输出层反传过来的误差进行学****这是BP网络的一个主要特征。
BP网络的学****算法
,它有m个输入信号,每个输入通过各自的权系数与神经元j相联系。第j神经元的综合输入量为
神经单元模型
(2-3)
式中称为该神经元的门槛值或阈值。为了统一表达式,可以令,将上式改写成
(2-4)
第j神经元的输出为
(2-5)
式中为神经元j的传递函数或响应函数,是非线性可微非递减函数,对各神经元可取同一形式。
传递函数通常有
0-1型(2-6)
双曲正切型(2-8)
Sigmoid型(2-7)
目前,用得较多的传递函数是Sigmoid型函数或称为S型函数。
BP网络的自学****是通过若干个已知输入和输出的样本,来调整权系数完成的。要求对样本,网络输出和样本期望输出的差值平方和极小,即
(2-9)
,用序号1~3分别表示输入层、隐层和输出层,为统一符号,规定右上角标表示层的序号,对第p样本,第层的神经元j的输入和输出分别用和表示,而对应层的神经元个数为,, 。则网络的正向运算为
,用序号1~3分别表示输入层、隐层和输出层,为统一符号,规定右上角标表示层的序号,对第p样本,第层的神经元j的输入和输出分别用和表示,而对应层的神经元个数为,, 。则网络的正向运算为
三层BP神经网络
输入层(2-10)
隐层或输出层
式中表示第层的神经元与第层的神经元之间的权系数。
网络第层的神经元j的计算输出和样本期望输出的差值记为
(2-13)
要对网络的权系数不断进行修正,使得小于事先给定的允许误差,才能完成学****过程,训练结束。对于第次学****过程,权系数修正量可借鉴不包含隐层的Delta学****算法(或学****算法)按下式进行调整(也参见式(2-2))
(2-14)
式中η为修正因子,一般取小于1的常数,也可以在学****过程中根据需要而改变。
Delta学****算法的改进
由式(2-11)
则式(2-17)可改写为
将上式与式(2-14)比较,可见两者形式相同。
(2-14)