BP网络.ppt

文档介绍：第4章 BP 网络?主要内容: – BP 网络的构成–隐藏层权的调整分析– Delta 规则理论推导–算法的收敛速度及其改进讨论– BP 网络中的几个重要问题?重点: BP 算法?难点: Delta 规则的理论推导第4章 BP 网络 概述 基本 BP 算法 算法的改进 算法的实现 算法的理论基础 几个问题的讨论 概述 1、 BP 算法的出现非循环多级网络的训练算法 UCSD PDP 小组的 Rumelhart 、 Hinton 和 Williams1986 年独立地给出了 BP 算法清楚而简单的描述 1982 年, Paker 就完成了相似的工作 1974 年, Werbos 已提出了该方法 2 、弱点:训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 3、优点: 广泛的适应性和有效性。 基本 BP 算法? 网络的构成神经元的网络输入: net i =x 1w 1i +x 2w 2i+…+x nw ni 神经元的输出: fo ????1 1)()1()()1( 1)( 2 net???????????输出函数分析 f ′(net) o 0 1 1(0, ) net (0,0 ) e o ???1 1 –的值尽量控制在收敛比较快的范围内–可以用其它的函数作为激活函数,只要该函数是处处可导的网络的拓扑结构 x 1 o 1输出层隐藏层输入层 x 2 o 2o m x n………………… W (1)W (2)W (3)W (L) 网络的拓扑结构 1. BP 网的结构 2. 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 3. 实验:增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 。网络的拓扑结构 x 1 o 1输出层隐藏层输入层 x 2 o 2o m x n………… W 训练过程概述样本: (输入向量,理想输出向量) 权初始化: “小随机数”与饱和状态; “不同”保证网络可以学。 1、向前传播阶段: (1 )从样本集中取一个样本(X p,Y p) ,将 X p输入网络; (2)计算相应的实际输出 O p: O p =F l(…(F 2 (F 1 (X pW (1) )W (2))…)W (L))