文档介绍：word
word
1 / 21
word
神经网络学****之 BP神经网络
word
word
2 / 21
word
目录
第一章概述
第二章BP算法的根本思想
第三章BP网络特性分析
BP网络的拓扑结构4
BP网络的传递函数5
BP网络的学****算法6
第四章BP网络的训练分解
前向传输〔Feed-Forward前向反响〕8
逆向反响〔Backpropagation〕9
训练终止条件10
第五章BP网络运行的具体流程10
网络结构10
变量定义10
误差函数：11
第六章 BP网络的设计14
网络的层数14
隐层神经元的个数15
初始权值的选取15
学****速率15
BP网络的局限性15
word
word
3 / 21
word
BP网络的改良16
第一章概述
神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 。
BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学****和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学****规如此是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。
第二章 BP算法的根本思想
多层感知器在如何获取隐层的权值的问题上遇到了瓶颈。既然我们无法直接得到隐层的权值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？BP算法就是采用这样的思想设计出来的算法，它的根本思想是,学****过程由信号的正向传播与误差的反向传播两个过程组成。
word
word
4 / 21
word
正向传播时，输入样本从输入层传入,经各隐层逐层处理后,传向输出层。假如输出层的实际输出与期望的输出(教师信号)不符,如此转入误差的反向传播阶段。
反向传播时，将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。
这两个过程的具体流程会在后文介绍。
BP算法的信号流向图如如下图所示 
第三章 BP网络特性分析
我们分析一个ANN时，通常都是从它的三要素入手，即 1)网络拓扑结构； 2)传递函数； 3)学****算法。
word
word
5 / 21
word
每一个要素的特性加起来就决定了这个ANN的功能特性。所以，我们也从这三要素入手对BP网络的研究。
BP网络的拓扑结构
上一次已经说了，BP网络实际上就是多层感知器，因此它的拓扑结构和多层感知器的拓扑结构一样。由于单隐层〔三层〕感知器已经能够解决简单的非线性问题，因此应用最为普遍。三层感知器的拓扑结构如如下图所示。 一个最简单的三层BP： 
word
word
6 / 21
word
BP网络的传递函数
BP网络采用的传递函数是非线性变换函数——Sigmoid函数〔又称S函数〕。其特点是函数本身与其导数都是连续的，因而在处理上十分方便。为什么要选择这个函数，等下在介绍BP网络的学****算法的时候会进展进一步的介绍。 
单极性S型函数曲线如如下图所示。 
双极性S型函数曲线如如下图所示。
word
word
7 / 21
word
BP网络的学****算法
BP网络的学****算法就是BP算法，又叫 δ 算法〔在ANN的学****过程中我们会发现不少具有多个名称的术语〕，以三层感知器为例，当网络输出与期望输出不等时，存在输出误差 E ，定义如下：
word
word
8 / 21
word
将以上误差定义式展开至隐层，有 
进一步展开至输入层，有 
由上式可以看出，网络输入误差是各层权值ωjκ、υij的函数，因此调整权值可改变误差 E。显然，调整权值的原如此是使误差不断减小，因此应使权值与误差的梯度下降成正比，即 ：
对于一般多层感知器，设共有 h 个隐层，按前向顺序各隐层节点数分别记为 m1,m2,…,