文档介绍：人工神经网络
人工神经网络
第1页
第5章人工神经网络
前馈神经网络
2
人工神经网络基础知识
1
自组织神经网络
3
反馈神经网络
4
人工神经网络
第2页
5
单层感知器
1
误差反传(BP)算法
3
标准BP算法改进
4
基于BP算法多层前馈网络设计基础
5
人工神经网络
第8页
、多层感知器
单计算层感知器只能处理线性可分问题，在输入层和输出层之间引入隐层作为输入模式“内部表示”，将单计算层感知器变成多(计算)层感知器，能够实现线性不可分问题。
例：用两输入层感知器处理“异或”问题。
如图含有单隐层感知器，其中隐层两个节点相当于两个
独立符号单元。这两个符号单元可分别在x1和x2组成平
面上确定两条分界直线S1和S2，组成如图所表示开放式凸域。
经过适当调整两条直线位置，可使两类线性不可分样本分
别位于开放式凸域内部和外部。
输出层节点以隐层两节点输出y1、y2作为输入，其结构也
相当于一个符号单元。经过训练，使其含有逻辑“与非”功效，
则“异或”问题即可得到处理。
x1
x2
w11
O
T1
w12
w21
w22
y1
y2
T3
T2
-1
-1
x1
x2
S1
S2
x1
x2
y1
y2
o
0
0
1
1
0
0
1
0
1
1
1
0
1
0
1
1
1
1
1
0
人工神经网络
第9页
、多层感知器
当输入样本为二维向量时，隐层中每个节点确定了二维平面上一条分界直线。多条直线经输出节点组后后组成下列图所表示各种形状凸域（所谓凸域是指其边界上任意两点之连线均在域内）。经过训练调整凸域形状，可将两类线性不可分样本分为域内和域外。输出层节点负责将域内外两类样本进行分类。
单隐层节点数量增加能够使多边形凸域边数增加，从而在输出层构建出任意形状凸域。假如在此基础上增加第二个隐层，则该隐层每个节点确定一个凸域，各种凸域经输出层节点组合后可称为下列图所表示任意形状域。已经证实，双隐层感知器足以处理任何复杂分类问题。
采取非线性连线函数作为神经元节点转移函数将使区域边界限基本线素由直线变成曲线，从而使整个边界限变成连线光滑曲线。
开域
闭域
人工神经网络
第10页
、多层感知器
从感知器学****规则看，其权值调整量取决于感知器期望输出与实际输出之差，即
。对于各隐层来说，不存在期望输出，因而该学****规则对隐层权值不适用。
人工神经网络
第11页
前馈神经网络
3
误差反传(BP)算法
单层感知器
1
2
多层感知器
标准BP算法改进
4
基于BP算法多层前馈网络设计基础
5
人工神经网络
第12页
、误差反传(BP)算法
20世纪80年代中期，帕克(Parker)和鲁姆尔哈特(Rumelhart)等人研究了非线性连线转移函数多层前馈网络误差反向传输算法(Error Back Proragation,简称BP)。BP算法处理了多层感知器学****问题，促进了神经网络发展。
BP学****过程描述为：
① 工作信号正向传输：输入信号从输入层经隐层，传向输出层，在输出端产生输出信号，这是工作信号正向传输。在信号向前传递过程中网络权值是固定不变，每一层神经元状态只影响下一层神经元状态。假如输出层不能得到期望输出，则转入误差信号反向传输。
② 误差信号反向传输：网络实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向前传输，这是误差信号反向传输。在误差信号反向传输过程中，网络权值由误差反馈进行调整。经过权值不停修正使网络实际输出更靠近期望输出。
人工神经网络
第13页
、误差反传(BP)算法
基于BP算法多层前馈网络模型
以单隐层网络为例，输入向量为X=(x1,x2,…,xi,…,xn)T,隐层输出向量为Y=(y1,y2,…,yj,…,ym)T,输出层输出向量为O=(o1,o2,…,ok,…,ol)T,期望输出向量为d=(d1,d2,…,dk,…,dl)T,输入层到隐层之间权值矩阵用V表示，V=(V1,V2,…,Vj,…,Vm),其中列向量Vj为隐层第j个神经元对应权向量；隐层到输出层之间权值矩阵用W表示，W=(W1,W2,…,Wk,…,Wl)，其中列向量Wk为输出层第k个神