文档介绍：BP神经网络模型与学****算法
BP神经网络模型
三层BP网络
模型的数学表达
输入向量:
隐层输入向量:
隐层输出向量:
输出层输入向量:
输出层输出向量:
期望输出向量:
输入层到隐层之间的权值矩阵:
隐层到输出层之间的权值矩阵:
各个变量之间如何建立联系,来描述整个网络?
BP网络的标准学****算法
学****的过程:
神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构,以使网络的输出不断地接近期望的输出。
学****的本质:
对可变权值的动态调整
学****规则:
权值调整规则,即在学****过程中网络中各神经元的连接权变化所依据的一定的调整规则。
BP算法是一种学****规则
BP算法的基本思想
学****的类型:有导师学****br/>核心思想:
将输出误差以某种形式通过隐层向输入层逐层反传
学****的过程:
信号的正向传播误差的反向传播
将误差分摊给各层的所有单元---各层单元的误差信号
修正各单元权值
BP算法的学****过程
正向传播:
输入样本---输入层---各隐层---输出层
判断是否转入反向传播阶段:
若输出层的实际输出与期望的输出(教师信号)不符
误差反传
误差以某种形式在各层表示----修正各层单元的权值
网络输出的误差减少到可接受的程度
进行到预先设定的学****次数为止
BP算法的具体实现
(1)网络初始化;
(4)利用网络期望输出向量,网络的实际输出,计算误差函数对输出层的各神经元的偏导数
(5)利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数:
(6)利用输出层各神经元的和隐含层各神经元的输出来修正连接权值和阈值
(7)使用隐含层各神经元的和输入层各神经元的输入修正连接权和阈值(8)计算全局误差
(9)判断网络误差是否满足要求当或学****次数大于设定的最大次数,则结束算法。否则,随机选取下一个学****样本及对应的期望输出,返回到3),进入下一轮学****过程。
(2)随机选取第个输入样本及对应的期望输出
(3)计算隐含层各神经元的输入,然后用和激活函数计算隐含层各神经元的输出
BP网的主要能力
(1)非线性映射能力
BP网能学****和存贮大量输入-输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学****训练,它便能完成由n维输入空间到m维输出空间的非线性映射。
BP网的主要能力
(2)泛化能力
当向网络输入训练时未曾见过的非样本数据时,网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。
(3)容错能力
输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。
总结
BP神经网络模型
BP算法的实现
基本思想
推导过程
实现
BP学****算法的功能