新BP神经网络的基本原理 很清楚.doc

文档介绍：BP神经网络的根本原理+很清楚
BP神经网络的根本原理
BP〔Back Propagation〕网络是1986年由Rinehart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目数和隐层节点个数。在实际应用中，BP算法很难胜任，因此出现了很多改良算法。
1〕    利用动量法改良BP算法
标准BP算法实质上是一种简单的最速下降静态寻优方法，在修正W(K)时，只按照第K步的负梯度方向进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学****过程发生振荡，收敛缓慢。动量法权值调整算法的具体做法是：将上一次权值调整量的一局部迭加到按本次误差计算所得的权值调整量上，作为本次的实际权值调整量，即：
                〔〕
其中：α为动量系数，通常0＜α＜；η—学****率，～10之间。这种方法所加的动量因子实际上相当于阻尼项，它减小了学****过程中的振荡趋势，从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性，有效的抑制了网络陷入局部极小。
2〕    自适应调整学****速率
标准BP算法收敛速度缓慢的一个重要原因是学****率选择不当，学****率选得太小，收敛太慢；学****率选得太大，那么有可能修正过头，导致振荡甚至发散。。
调整的根本指导思想是：在学****收敛的情况下，增大η，以缩短学****时间；当η偏大致使不能收敛时，要及时减小η，直到收敛为止。
3〕    动量-自适应学****速率调整算法
采用动量法时，BP算法可以找到更优的解；采用自适应学****速率法时，BP算法可以缩短训练时间。将以上两种方法结合起来，就得到动量-自适应学****速率调整算法。
4〕    L-M学****规那么
L-M〔Levenberg-Marquardt〕算法比前述几种使用梯度下降法的BP算法要快得多，但对于复杂问题，这种方法需要相当大的存储空间。L-M(Levenberg-Marquardt)优化方法的权值调整率选为:
                  〔〕
其中：e—误差向量；J—网络误差对权值导数的雅可比〔Jacobian〕矩阵；μ—标量，当μ很大时上式接近于梯度法，当μ很小时上式变成了Gauss-Newton法，在这种方法中，μ也是自适应调整的。
综合考虑，拟采用L-M学****规那么和动量法分别作为神经网络的训练函数和学****函数。
BP神经网络的训练策略及结果
本文借助于MATLAB神经网络工具箱来实现多层前馈BP网络〔Multi-layer feed-forward backpropagation network〕的颜色空间转换，免去了许多编写计算机程序的烦恼。神经网络的实际输出值与输入值以及各权值和阈值有关，为了使实际输出值与网络期望输出值相吻合，可用含有一定数量学****样本的样本集和相应期望输出值的集合来训练网络。。
另外，目前尚未找到较好的网络构造方法。确定神经网络的结构和权系数来描述给定的映射或逼近一个未知的映射，只能通过学****方式得到满足要求的网络模型。神经网络的学****可以理解为：对确定的网络结构，寻找一组满足要求的权系数，使给定的误差函数最小。设计多层前馈网络时，主要侧重试验、探讨多种模型方案，在实验中改良，直到选取一个满意方案为止，可按以下步骤进行：对任何实际问题先都只选用一个隐层；使用很少的隐层节点数；不断增加隐层节点数，直到获得满意性能为止；否那么再采用两个隐层重复上述过程。
训练过程实际上是根据目标值与网络输出值之间误差的大小反复调整权值和阈值，直到此误差到达预定值为止。
确定BP网络的结构
确定了网络层数、每层节点数、传递函数、初始权系数、学****算法等也就确定了BP网络。确定这些选项时有一定的指导原那么，但更多的是靠经验和试凑。
1〕隐层数确实定：
1998年Robert Hecht-Nielson证明了对任何在闭区间内的连续函数，都可以用一个隐层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维到m维的映照。因此我们从含有一个隐层的网络开始进行训练。
2〕 BP网络常用传递函数:
BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元那么采用线性传递函数，整个网络的输出可以取任意值。。