文档介绍：误差反向传播（Error Back Propagation, BP ）算法
1、 BP算法的根本思想是,学****过程由信号的正向传播与误差的反向传 播两个过程组成.
1） 正向传播：输入样本一 ＞输入层一 ＞各隐层（处理）一 ＞输出层
注 two r k s , ANN)系统是2 0世纪4 0年代后出现的,它是由众多的神经元 可调的连接权值连接而成,具有大规模并行处理、分布式信息存储、良好 的自组织自学****水平等特点,在信息处理、模式识别、智能控制及系统建 (Error B
ack— propagation Training,简称 B P 网络)可 以逼近任意连续函数,具有很强的非线性映射水平,而且网络的中间层数、 各层的处理单元数及网络的学****系数等参数可根据具体情况设定,灵活性 很大,,为了了解决BP神 经网络收敛速度慢、不能保证收敛到全局最小点,网络的中间层及它的单 元数选取无理论指导及网络学****和记忆的不稳定性等缺陷,指出了许多改 进算法.
1传统的BP算法简述
BP算法是一种有监督式的学****算法,其主要思想是：输入学****样本, 使用反向传播算法对网络的权值和偏差进行反复的调整训练,使输出的向 量与期望向量尽可能地接近,当网络输出层的误差平■方和小丁指定的误差 时训练完成,：
(1 )初始化,随机给定各连接权[w] , [ v ]及阀值 9 i , r to
(2 )由给定的输入输出模式对计算隐层、输出层各单元输出
b j = f (■ wijai - 0 j ) c t = f (■ vjtbj — r t )
式中：b j为了隐层第j个神经元实际输出；c t为了输出层第t个神经元 的实际输出；wij为了输入层至隐层的连接权； vjt为了隐层至输出层的连接权.
d tk= (y tk — c t ) c t (1—c t ) e jk= [ ■ dtvjt ] b j ( 1 — b j )
式中：d tk为了输出层的校正误差；e jk为了隐层的校正误差.
(3)计算新的连接权及阀值,计算公式如下：
v jt (n+1) =v jt (n) + ?琢 d tk b j w ij (n+1) =w ij (n) + ?茁 e jk a ik
r t (n+l)= r t (n) + ?琢 d tk 0 j (n+1) = 0 j (n) + ?
茁e jk
式中：？琢,？茁为了学****系数(0 < ?琢< 1 , 0 < ?茁<1).
(4 )选取下一个输入模式对返回第2步反复训练直到网络设输出误 差到达要求结束训练.
传统的BP算法,实质上是把一组样本输入 /输出问题转化为了一个非线
性优化问题,并通过负梯度下降算法,利用迭代运算求解权值问题的一种 学****方法,但其收敛速度慢且容易陷入局部极小,为了此指出了一种新的算 法,即高斯消元法.
2改良的BP网络算法
2 . 1 改良算法概述
此前有人指出：任意选定一组自由权,通过对传递函数建立线性方程 组, 式代数和来建立线性方程组,不再通过对传递函数求逆来计算神经元的净 输出,简化