文档介绍：反向传播网络原理及其应用 1. 引言反向传播网络( Back-work, 简称 BP 网络)是将 W-H 学习规则一般化, 对非线性可微分函数进行权值训练的多层网络。它是一种多层前向神经网络, 包括输入层、隐层、输出层,其中隐层可以是一层,也可以是多层其神经元的变换函数是 S 型函数, 因此输出量为 0到1 之间的连续量, 它可以实现从输入到输出的任意非线性映射。。 BPN N 前后层之前实现全连接,每层神经元直接无连接。 2. 用途及限制 BP 网络主要用于: 1 :函数逼近:用输入矢量和输出矢量训练一个网络逼近一个函数。 2 :模式识别:用一个特定的输出矢量将它与输入矢量联系起来。 3 :分类:把输入矢量以所定义的合适方式进行分类。 4 :数据压缩:减少输出矢量维数以便于传输或存储。 BP 网络的产生要归功于 BP 算法的获得。 BP 算法要属于δ算法。它是一种监督式的学习算法。它的主要思想是:对于 q 个输出学习样本: P1, P2,…,P q ,已知与其对应的输出样本是: T1 ,…,T q 。学习的目的是用网络的实际输出 A1 ,…A q 与其目标矢量 T1, …,T q 之间的误差来修改其权值, 使使 A e ,(e=l,2, …,q) 与期望的 T e 尽可能地接近;;即: 使网络输出层的误差平方和达到最小。它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影响成正比, 并以反向传播的方式, 通过网络将输出层的误差信号, 沿原来的连接通路反传到每一层来修改前面各层神经元的权值直至达到期望目标。虽然反向传播法得到广泛的应用, 但这也存在自身的限制与不足, 主要表现在以下几点: ()l 需要较长的训练时间对于一些复杂的问题,BP 算法可能要进行几小时甚至更长的时间的训练。这主要是由于学习速率太小所造成的。(2) 完全不能训练这主要表现在网络出现的麻痹现象上。在网络的训练过程中, 当其权值调得过大, 可能使得所有的或大部分神经元的加权输入和过大, 这使得激活函数的输入工作在 S 型转移函数的饱和区, 从而导致其导数非常小而使得对网络权值的调节过程几乎停顿下来。(3) 局部极小值 BP 算法可以使网络权值收敛到一个解, 但它并不能保证所求为误差超平面的全局最小解, 很可能是一个局部极小解。这是因为 BP 算法采用的是梯度下降法, 训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值。对于复杂的网络, 其误差函数为多维空间的曲面, 就像一个碗, 其碗底是最小值点。但是这个碗的表面是凹凸不平的, 因而在对其训练过程中, 可能陷入某一小谷区, 而这一个谷区产生的是一个局部极小值。由此点向各方向变化均使误差增加, 以致于使训练无法逃出这一局部极小。如果对训练结果不满意的话, 采用多层网络和较多的神经元可能得到更好的结果。然而增加神经元和层数, 也增加了网络的复杂性及训练时间。在一定情况下可能是不明智的。可代替的办法是选用几组不同的初始条件对网络进行训练, 从中挑选最好结果。为了避免发生麻痹现象, 一是选取较小的初始权值, 二是采用较小的学习速率, 但这又增加了训练时问。采用较大的学习速率, 则可能引起网络训练的不稳定等问题。由于在人工神经网络中, 反向传播法占据了非常重要的