文档介绍：BP 神经网络的基本原理 BP(Back Propagation )网络是 1986 年由 Rinehart 和 McClelland 为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学****和存贮大量的输入-输出模式映射关系, 而无需事前揭示描述这种映射关系的数学方程。它的学****规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层( input )、隐层(hide layer) 和输出层(output layer) (如图 所示) 。 BP 给出了第 j个基本 BP神经元(节点),它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权、求和与转移。其中 x 1、x 2…x i…x n分别代表来自神经元 1、2…i…n 的输入;w j1、w j2…w ji…w jn则分别表示神经元 1、2…i…n与第 j个神经元的连接强度,即权值; b j为阈值;f(·)为传递函数; y j为第 j个神经元的输出。第j个神经元的净输入值为:( ) 其中: 若视,,即令及包括及,则于是节点 j的净输入可表示为: ( ) 净输入通过传递函数( Transfer Function )f(·)后,便得到第 j个神经元的输出: ( ) 式中 f(·)是单调上升函数,而且必须是有界函数,因为细胞传递的信号不可能无限增加, 必有一最大值。 BP网络 BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入层→隐层→输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行, 在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程。 正向传播设BP网络的输入层有 n个节点,隐层有 q个节点,输出层有 m个节点,输入层与隐层之间的权值为,隐层与输出层之间的权值为,如图 所示。隐层的传递函数为 f 1(·), 输出层的传递函数为 f 2(·),则隐层节点的输出为(将阈值写入求和项中): k=1,2, …… q( ) 输出层节点的输出为: j=1,2, …… m( ) 至此 B-P 网络就完成了 n维空间向量对 m维空间的近似映射。 反向传播 1)定义误差函数输入个学****样本,用来表示。第个样本输入到网络后得到输出(j=1,2, …m)。采用平方型误差函数,于是得到第 p个样本的误差 E p:( ) 式中: 为期望输出。对于个样本,全局误差为: ( ) 2)输出层权值的变化采用累计误差 BP算法调整,使全局误差变小, 即( ) 式中: —学****率定义误差信号为: ( ) 其中第一项: ( ) 第二项: ( ) 是输出层传递函数的偏微分。于是: ( ) 由链定理得: ( ) 于是输出层各神经元的权值调整公式为: ( ) 3)隐层权值的变化( ) 定义误差信号为: ( ) 其中第一项: ( ) 依链定理有: ( ) 第二项: ( ) 是隐层传递函数的偏微分。于是: ( ) 由链定理得: ( ) 从而得到隐层各神经元的权值调整公式为: ( ) BP 算法的改进 BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但标准 BP算法存在以下缺点:收敛速度缓慢;容易陷入局部极小值;难以确定隐层数和隐层节点个数。在实际应用中, BP算法很难胜任,因此出现了很多改进算法。 1)利用动量法改进 BP算法标准 BP算法实质上是一种简单的最速下降静态寻优方法, 在修正W(K) 时,只按照第 K步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学****过程发生振荡,收敛缓慢。动量法权值调整算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即: ( ) 其中: α为动量系数,通常 0<α< ;η—学****率,范围在 ~10之间。这种方法所加的动量因子实际上相当于阻尼项,它减小了学****过程中的振荡趋势,从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制了网络陷入局部极小。 2)自适应调整学****速率标准 BP算法收敛速度缓慢的一个重要原因是学****率选择不当,学****率选得太小,收敛太慢