文档介绍：BP神经网络基础原理
BP（Back Propagation）网络是1986年由Rinehart和McClelland为首科学家小组提出，是一个按误差逆传输算法训练多层前馈网络，是现在应用最广泛神经网络模型之一。BP网络能学****和存贮大量输入-输出模式映射关系，而无需事前揭示描述这种映射关系数学方程。它学****规则是使用最速下降法，经过反向传输来不停调整网络权值和阈值，使网络误差平方和最小。BP神经网络模型拓扑结构包含输入层（input）、隐层(hide layer)和输出层(output layer)（）。
BP神经元
（节点），它只模拟了生物神经元所含有三个最基础也是最关键功效：加权、求和和转移。其中x1、x2…xi…xn分别代表来自神经元1、2…i…n输入；wj1、wj2…wji…wjn则分别表示神经元1、2…i…n和第j个神经元连接强度，即权值；bj为阈值；f(·)为传输函数；yj为第j个神经元输出。
第j个神经元净输入值为：
                 （）
其中：     
若视，，即令及包含及，则
  
于是节点j净输入可表示为：
                     （）
    净输入经过传输函数（Transfer Function）f (·)后，便得到第j个神经元输出:
           （）
式中f(·)是单调上升函数，而且必需是有界函数，因为细胞传输信号不可能无限增加，必有一最大值。
BP网络
BP算法由数据流前向计算（正向传输）和误差信号反向传输两个过程组成。正向传输时，传输方向为输入层→隐层→输出层，每层神经元状态只影响下一层神经元。若在输出层得不到期望输出，则转向误差信号反向传输步骤。经过这两个过程交替进行，在权向量空间实施误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达成最小值，从而完成信息提取和记忆过程。
正向传输
设 BP网络输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层和隐层之间权值为，隐层和输出层之间权值为，。隐层传输函数为f1(·)，输出层传输函数为f2(·)，则隐层节点输出为（将阈值写入求和项中）：
         k=1,2,……q              （）
输出层节点输出为：
       j=1,2,……m              （）
至此B-P网络就完成了n维空间向量对m维空间近似映射。
反向传输
1)     定义误差函数
输入个学****样本，用来表示。第个样本输入到网络后得到输出（j=1,2,…m）。采取平方型误差函数，于是得到第p个样本误差Ep：
                     （）
式中：为期望输出。
对于个样本，全局误差为：
                （）
2）输出层权值改变
采取累计误差BP算法调整，使全局误差变小，即
           （）
式中：—学****率
定义误差信号为：
                  （）
其中第一项：
          （）
    第二项：
                         （）
是输出层传输函数偏微分。
于是：
                    （）
由链定理得：
      （）
于是输出层各神经元权值调整公式为：
               （）
3）隐层权值改变
          （）
定义误差信号为：
                   （）
其中第一项：
          （）
依链定理有：
                  （）
    第二项：
                         （）
是隐层传输函数偏微分。
于是：
                （）
由链定理得：
   （）
从而得到隐层各神经元权值调整公式为：
            （）
BP算法改善
BP算法理论含有依据可靠、推导过程严谨、精度较高、通用性很好等优点，但标准BP算法存在以下缺点：收敛速度缓慢；轻易陷入局部极小值；难以确定隐层数和隐层节点个数。在实际应用中，BP算法极难胜任，所以出现了很多改善算法。
1）    利用动量法改善BP算法
标准BP算法实质上是