人工神经网络.05.BP神经网络.ppt

文档介绍：武汉科技大学 1人工神经网络(Artifical work) 张凯副教授武汉科技大学计算机学院 2 第五章 BP 神经网络 1. 研究背景 4. 感知机学****规则研究背景?罗斯布莱特的感知机学****规则和伯纳德和玛西娅的 LMS 算法是设计用来训练单层的类似感知器的网络的。?如前面几章所述,这些单层网络的缺点是只能解线性可分的分类问题。?罗斯布莱特和伯纳德均意识到这些限制并且都提出了克服此类问题的方法:多层网络。?但他们未将这类算法推广到用来训练功能更强的网络。研究背景?韦伯斯( Werbos )在他 1974 年博士的论文中第一次描述了训练多层神经网络的一个算法, 论文中的算法是在一般网络的情况中描述的,而将神经网络作为一个特例。论文没有在神经网络研究圈子内传播。研究背景?直到 20 世纪 80 年代中期,反向传播算法才重新被发现并广泛地宣扬,这个算法因被包括在《并行分布式处理》(Parallel Distributed Processing)[RuMc86] 一书中而得到普及,才使之成为迄今为止最著名的多层网络学****算法— BP 算法,由此算法训练的神经网络,称之为 BP 神经网络。研究背景 David Rumelhart J. McClelland 研究背景? BP 网络广泛应用于函数逼近、模式识别/分类、数据压缩等,80% -90% 的人工神经网络模型是采用 BP 网络或它的变化形式,它也是前馈网络的核心部分, 体现了人工神经网络最精彩的部分。异或问题 x 1x 2y00011011 01 10 多层网络求解异或问题?? 1, 0 1, 0 x f x x ????? ??输出函数: 用一个简单的三层感知器就可得到解决多层网络求解异或问题 x 1+x 2 +=0 x 1+x 2 -=0 *y 1 - y 2 -1=0 多层网络求解异或问题