文档介绍：有监督和神经网络
●神经元网络的简化模型
ai1
ai2
a in
bi1
bi2
bim
wi
y1
y2
y n
u1
uk
um
1
vi
x i
y i
●神经元网络的一般模型框架
1）加法器
2）线性动态系统（SISO）
3）静态非线性系统
︰
︰
式中 aij 和bik 为权系数，i,j =1,2,…,n,
k= 1,2,…m. n 个加法器可以写成向量形式：
—— N维列向量
—— N维列向量（单元输出）
——N×N维矩阵
——N×M维矩阵
—— M维列向量（外部输入）
—— M维常向量
▲ 线性动态系统
典型的有：
▲静态非线性系统典型的有：
g(x)
g(x)
g(x)
x
x
x
阈值函数
阈值函数
Sigmoid函数
∑
∑
（双极型）
Sigmoid
u1
ui
i
u1
ui
i
y i
y i
Adline(自适应线性网）
单层感知器(Perceptron)
▲不同的部件可以组成不同的网络
︰
︰

K
ui
y j
yi
离散Hopfield网
y1
y2
y3
y4
u1
u2
u3
u4

yj
yi
ui
xi
连续的Hopfield网
●按学****的方法神经元网络可分成二类：
1）有监督的学****网络：
感知器
误差反传网络（BP）
小脑模型连接控制器（CMAC）
模块（组合）网络
增强学****网络
● 有监督的神经网络
1）感知器网络
感知器是前馈(正向传输)网络,所有节点都是线性的.
● ● ●
●
●
●
●
●
●
●
●
●
x1
x2
xn
b1
b2
bm
权向量W
2）无监督学****网络
竞争学****和Kohonen网络
Hopfield网络
双向联想存贮器（BAM）
Boltzman机
输入与输出的关系：
权矩阵可以按下式求解：
学****规则：
代表输入与输出的差别。
是学****因子
这学****规则即是著名的学****规则。
随着学****迭代次数k的增加，保证网络的收敛。
● 反传（BP）网络
误差反传（学****算法）
（BP）网络与感知器的主要差别在于：（BP）网络的节点
是非线性的。
采用广义学****规则。