文档介绍：第三章前馈人工神经网络
－－误差反传（BP）算法的改进与BP网络设计
1
基于BP算法的多层前馈网络模型
三层BP网络
输入层
隐层
输出层
2
数学表达
模型的数学表达
输入向量： X=(x1,x2,…,xi,…,xn)T
隐层输出向量： Y=(y1,y2,…,yj,…,ym)T
输出层输出向量： O=(o1,o2,…,ok,…,ol)T
期望输出向量：d=(d1, d2,…,dk,…,dl)T
输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)
隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)
各个变量之间如何建立联系，来描述整个网络？
3
神经网络的学****br/>学****的过程：
神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。
学****的本质：
对可变权值的动态调整
学****规则：
权值调整规则，即在学****过程中网络中各神经元的连接权变化所依据的一定的调整规则。
BP算法是一种学****规则
4
BP算法的基本思想
学****的类型：有导师学****br/>核心思想：
将输出误差以某种形式通过隐层向输入层逐层反传
学****的过程：
信号的正向传播误差的反向传播
将误差分摊给各层的所有单元－－－各层单元的误差信号
修正各单元权值
5
BP算法的学****过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（教师信号）不符
误差反传
误差以某种形式在各层表示－－－－修正各层单元的权值
网络输出的误差减少到可接受的程度
进行到预先设定的学****次数为止
6
建立权值变化量与误差之间的关系
输出层与隐层之间的连接权值调整
隐层和输入层之间的连接权值调整
j=0,1,2,…,m; k=1,2,…,l ()
i=0,1,2,…,n; j=1,2,…,m ()
式中负号表示梯度下降，常数η∈(0,1)表示比例系数，反映了训练速率。可以看出BP算法属于δ学****规则类，这类算法常被称为误差的梯度下降(Gradient Descent)算法。
7
BP算法的程序实现
(1)初始化；
(4)计算各层误差信号；
(5)调整各层权值；
(6)检查是否对所有样本完成一次
轮训；
(7)检查网络总误差是否达到精
度要求。
(2)输入训练样本对X Xp、d dp
计算各层输出；
(3)计算网络输出误差；
8
BP算法的程序实现
然后根据总误差计算各层的误差信号并调整权值。
另一种方法是在所有样本输入之后，计算网络的总误差：
9
多层前馈网的主要能力
(1)非线性映射能力
多层前馈网能学****和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学****训练，它便能完成由n维输入空间到m维输出空间的非线性映射。
10