文档介绍：第三章反向传播网络( BPN) BP 网络概述由于在神经网络中引入了隐层神经元,神经网络就具有更好的分类和记忆等能力,相应的学****算法成了研究的焦点。 1985 年 Rumelhart 等提出的 ( Back Propagation) 算法(简称 BP) ,系统地解决了多层神经元网络中隐单元层连接权的学****问题。由于 BP 克服了简单感知机不能解决的 XOR 和其他一些问题,所以 BP 模型已成为神经网络的重要模型之一,并得以广泛使用。采用 BP 算法的多层神经网络模型称为 BP 网络。多层神经网络模型由输入层、中间层和输出层组成。中间层也就是隐层可以是一层或多层。 BP 网络概述 BP 网络概述 BP 网络中采用了有一定阈值特性的连续可微的 Sigmoid 函数作为神经元的激励函数。通常采用的 S型函数为; BP 网络的学****过程由两部分组成:正向传播和反向传播。当正向传播时,输入信息从输入层经隐单元层处理后传向输出层,每一层神经元的状态只影响下一层的神经元状态。如果在输出层得不到希望的输出,则转入反向传播,将误差信号沿原来的神经元连接通路返回。返回过程中,逐一修改各层神经元连接的权值。这种过程不断迭代,最后使得信号误差达到允许的范围之内。 1 ( ) 1 x f xe ???含隐层的前馈网络的δ学****规则设有 P个训练样本,即 P个输入-输出对(X k,T k) (k= 1,2,...,P) X k= (x k1,x k2,…,x kM)为第 k个样本输入向量 M为输入向量维数 T k= (t k1,t k2,…,t kN)为第 k个样本输出向量(期望输出) N为输出向量维数 O k= (o k1,o k2,…,o kN)网络的实际输出向量 w ji为前一层第 i个神经单元到后一层第 j个神经单元的权当神经元为输层单元时, O k=X k 对于第 k个样本,第 j个神经元的状态定义为: 则第 j个神经元的输出为: f(.) 为半线性函数:连续可微的单一类型输入的非递减函数 kj ji ki w o ??( ) kj kj o ?含隐层的前馈网络的δ学****规则对于具有隐层的多层前向神经网络,当神经元激励函数为半线性函数,且训练指标函数取下述网络学****规则将使 E在每个训练循环中按梯度下降: 用于网络输出层用于中间隐含层?? 212 k kj kj k k e t o E e ? ? ????'' ( ) ( ) k ji kj ki kj kj kj kj kj kj km mj m w o t o f Net w ???? ?? ?? ???含隐层的前馈网络的δ学****规则含隐层的前馈网络的δ学****规则上式与简单δ规则在形式完全一样。但因为网络合有隐层,其中的o ki和δ kj都不能直接用输入、输出和期望输出表示含隐层的前馈网络的δ学****规则当神经单元 u j是输出单元时当神经单元 u j是隐含单元时含隐层的前馈网络的δ学****规则