文档介绍：word
word
1 / 14
word
BP神经网络的根本原理
BP〔Back Propagation〕网络是1986年由Rinehart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学****和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学****规如此是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层〔input〕、隐层(hide layer)和输出层(output layer)〔〕。
BP神经元
〔节点〕，它只模仿了生物神经元所具有的三个最根本也是最重要的功能：加权、求和与转移。其中x1、x2…xi…xn分别代表来自神经元1、2…i…n的输入；wj1、wj2…wji…wjn如此分别表示神经元1、2…i…n与第j个神经元的连接强度，即权值；bj为阈值；f(·)为传递函数；yj为第j个神经元的输出。
第j个神经元的净输入值为：
                 〔〕
其中：    
假如视，，即令与包括与，如此
word
word
2 / 14
word
  
于是节点j的净输入可表示为：
                     〔〕
    净输入通过传递函数〔Transfer Function〕f (·)后，便得到第j个神经元的输出:
           〔〕
式中f(·)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。
BP网络
BP算法由数据流的前向计算〔正向传播〕和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。假如在输出层得不到期望的输出，如此转向误差信号的反向传播流程。通过这两个过程的交替进展，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。
正向传播
设 BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为，隐层与输出层之间的权值为，。隐层的传递函数为f
word
word
3 / 14
word
1(·)，输出层的传递函数为f2(·)，如此隐层节点的输出为〔将阈值写入求和项中〕：
         k=1,2,……q              〔〕
输出层节点的输出为：
       j=1,2,……m              〔〕
至此B-P网络就完成了n维空间向量对m维空间的近似映射。
反向传播
1)    定义误差函数
输入个学****样本，用来表示。第个样本输入到网络后得到输出〔j=1,2,…m〕。采用平方型误差函数，于是得到第p个样本的误差Ep：
                     〔〕
式中：为期望输出。
对于个样本，全局误差为：
                〔〕
2〕输出层权值的变化
采用累计误差BP算法调整，使全局误差变小，即
           〔〕
word
word
4 / 14
word
式中：—学****率
定义误差信号为：
                  〔〕
其中第一项：
          〔〕
    第二项：
                         〔〕
是输出层传递函数的偏微分。
于是：
                    〔〕
由链定理得：
      〔〕
于是输出层各神经元的权值调整公式为：
               〔〕
3〕隐层权值的变化
word
word
5 / 14
word
          〔〕
定义误差信号为：
                   〔〕
其中第一项：
          〔〕
依链定理有：
                  〔〕
    第二项：
                         〔〕
是隐层传递函数的偏微分。
于是：
                〔〕
由链定理得：
   〔〕
从而得到隐层各神经元的权值调整公式为：
wo