文档介绍：关于神经网络
第1页，讲稿共46张，创作于星期二
人工神经网络
例
1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据
对各连接权值的动态调整
学****规则：
权值调整规则，即在学****过程中网络中各神经元的连接权变化所依据的一定的调整规则。
第14页，讲稿共46张，创作于星期二
BP网络的标准学****算法-算法思想
学****的类型：有导师学****br/>核心思想：
将输出误差以某种形式通过隐层向输入层逐层反传
学****的过程：
信号的正向传播误差的反向传播
将误差分摊给各层的所有单元－－－各层单元的误差信号
修正各单元权值
第15页，讲稿共46张，创作于星期二
BP网络的标准学****算法-学****过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（教师信号）不符
误差反传
误差以某种形式在各层表示－－－－修正各层单元的权值
网络输出的误差减少到可接受的程度
进行到预先设定的学****次数为止
第16页，讲稿共46张，创作于星期二
BP网络的标准学****算法
网络结构
输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
输入向量;
隐含层输入向量；
隐含层输出向量;
输出层输入向量;
输出层输出向量;
期望输出向量;
第17页，讲稿共46张，创作于星期二
BP网络的标准学****算法
输入层与中间层的连接权值:
隐含层与输出层的连接权值:
隐含层各神经元的阈值:
输出层各神经元的阈值:
样本数据个数:
激活函数:
误差函数：
第18页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学****次数M。
第二步,随机选取第个输入样本及对应期望输出
第19页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第三步，计算隐含层各神经元的输入和输出
第20页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。
第21页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。
第22页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第23页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。
第24页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。
第25页，讲稿共46张，创作于星期二
BP网络的标准学****算法
第八步，计算全局误差
第九步，判断网络误差是否满足要求。当误差达到预设精度或学****次数大于设定的最大次数，则结束算法。否则，选取下一个学****样本及对应的期望输出，返回到第三步，进入下一轮学****br/>第26页，讲稿共46张，创作于星期二
BP网络的标准学****算法
BP算法直观解释
情况一直观表达
当误差对权值的偏
导数大于零时，权值
调整量为负，实际输
出大于期望输出，
权值向减少方向调整，
使得实际输出与期望
输出的差减少。
who
e
>0，此时Δwho<0
第27页，讲稿共46张，创作于星期二
BP网络的标准学****算法
BP算法直观解释
情况二直观表达
当误差对权值的偏导数
小于零时，权值调整量
为正，实际输出少于期
望输出，权值向增大方向
调整，使得实际输出与期
望输出的差减少。
e
<0, 此时Δwho>0
who
第28页，讲稿共46张，创作于星期二
（1）隐层数及隐层神经元数的确定：目前尚无理论指导。
（2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。
（3）训练数据预处理：线性的特征比例变换，将所有的特征变换到[0，1]或者[-1，1]区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。
（4）后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。
BP算法的设计
第29页，讲稿共46张，创作于星期二
第30页，讲稿共46张，创作于星期二
第31页，讲稿共46张，创作于星期二