文档介绍：(BackPropagation)lelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学****和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。 它的学****规则是使用最速下降法,通过反向传播来不断调整网络的权值 命「匚 忙二和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结 二■■'rr毛匸川二-构包括输入层(input)、隐层(hidelayer)和输出层(outputlayer)()。(节点),它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权、求和与转移。其中X1、X2…Xi…Xn分别代表来自神经元1、2…i…n的输入;W1、W2…Wi…Wn则分别表示神经元1、2…i…n与第j个神经元的连接强度,即权值;b为阈值;f(•)为传递函数;yj为第j个神经元的输出。第j个神经元的净输入值二为::一1 ()圏”BF'W经元其中:7= 晒二[叫】如…叫)…除若视j•,匚,即令二及"'包括〔及,贝Ux=略二[除叫•】叫P…兮…啜于是节点j的净输入二可表示为:()弭二円二叫Xid净输入1通过传递函数(TransferFunction )f(•)后,便得到第j个神经元的输出〔:1-0()式中f(•)是单调上升函数,而且必须是有界函数,因为细胞传递的信号不可能无限增加,必有一最大值。BP网络BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入层f隐层f输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程。 q ,隐层有q个节点,输出层有m个节点,输入层与隐层之间的权值为、,隐层与输出层之间的权值为X;,。隐层的传递函数为fi(•),输出层的传递函数为f2(•),贝临层节点的输出为(将阈值写入求和项中):k=1,2,……q ()输出层节点的输出为:打二加E气血)Joj=1,2,……m ()至此B-P网络就完成了n维空间向量对m维空间的近似映射。反向传播1)定义误差函数输入厂个学****样本,用"来表示。第:个样本输入到网络后得到输出(j=i,2,…m。采用平方型误差函数,于是得到第 p个样本的误差&:1«咕抠(弓-酬()£>1式中:.为期望输出。对于厂个样本,全局误差为:()2)输出层权值的变化采用累计误差BP算法调整‘二,使全局误差二变小,即dEd? ?退叫“転“転萨)=护亦)()式中:;一学****率定义误差信号为:?如()其中第一项:d揑好-力尸二一£呂-力)z卜】 」川()()第二项:是输出层传递函数的偏微分。于是:()1K由链定理得:dE. dE,dSi 雄 r()于是输出层各神经元的权值调整公式为:户at i()△叫=丫£嗚-和2(為)牝*-1N3)隐层权值的变化d?負込()定义误差信号为:()其中第一项:詁越-郭T)詈()依链定理有:9S,r()第二项:()是隐层传递函数的偏微分于是:J-1()由链定理得:播 f r>-1()从而得到隐层各神经元的权值调整公式为:NYF肮 r r呱=-对)人禺)叫/(&広*jj-i543BP算法的改进BP算法理论具有依据可靠、推导过程严谨、精度较高、,但标准BP算法存在以下缺点:收敛速度缓慢;容易陷入局部极小值;难以确定隐层数和隐层节点个数。在实际应用中, BP算法很难胜任,因此出现了很多改进算法。1)利用动量法改进BP算法标准BP算法实质上是一种简单的最速下降静态寻优方法, 在修正W(K)时,只按照第K步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学****过程发生振荡,收敛缓慢。动量法权值调整算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即:()其中:a为动量系数,;n—学****率,〜10之间。这种方法所加的动量因子实际上相当于阻尼项,它减小了学****过程中的振荡趋势,从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制