文档介绍:第六讲 基于神经元网络的智能控制
神经元网络的特点:
1)非线性
2)分布处理
3)学****并行和自适应
4)数据融合
5)适用于多变量系统
6)便于硬件实现
编辑ppt
●神经元网络的简化模型
编辑ppt
ai1第六讲 基于神经元网络的智能控制
神经元网络的特点:
1)非线性
2)分布处理
3)学****并行和自适应
4)数据融合
5)适用于多变量系统
6)便于硬件实现
编辑ppt
●神经元网络的简化模型
编辑ppt
ai1
ai2
a in
bi1
bi2
bim
wi
y1
y2
y n
u1
uk
um
1
vi
x i
y i
●神经元网络的一般模型框架
1)加法器
2)线性动态系统(SISO)
3)静态非线性系统
︰
︰
编辑ppt
式中 aij 和bik 为权系数,i,j =1,2,…,n,
k= 1,2,…m. n 个加法器可以写成向量形式:
—— N维列向量
—— N维列向量(单元输出)
——N×N维矩阵
——N×M维矩阵
—— M维列向量(外部输入)
—— M维常向量
编辑ppt
▲ 线性动态系统
典型的有:
▲静态非线性系统 典型的有:
g(x)
g(x)
g(x)
x
x
x
阈值函数
阈值函数
Sigmoid函数
编辑ppt
∑
∑
(双极型)
Sigmoid
u1
ui
i
u1
ui
i
y i
y i
Adline(自适应线性网)
单层感知器(Perceptron)
▲不同的部件可以组成不同的网络
︰
︰
编辑ppt
K
ui
y j
yi
离散Hopfield网
y1
y2
y3
y4
u1
u2
u3
u4
编辑ppt
yj
yi
ui
xi
连续的Hopfield网
●按学****的方法神经元网络可分成二类:
1)有监督的学****网络:
感知器
误差反传网络(BP)
小脑模型连接控制器(CMAC)
模块(组合)网络
增强学****网络
编辑ppt
● 有监督的神经网络
1)感知器网络
感知器是前馈(正向传输)网络,所有节点都是线性的.
● ● ●
●
●
●
●
●
●
●
●
●
x1
x2
xn
b1
b2
bm
权向量W
2)无监督学****网络
竞争学****和Kohonen网络
Hopfield网络
双向联想存贮器(BAM)
Boltzman机
编辑ppt
输入与输出的关系:
权矩阵可以按下式求解:
学****规则:
代表输入与输出的差别。
是学****因子
这学****规则即是著名的 学****规则。
随着学****迭代次数k的增加, 保证网络的收敛。
● 反传(BP)网络
误差反传(学****算法)
(BP)网络与感知器的主要差别在于:(BP)网络的节点
是非线性的。
采用广义 学****规则。
编辑ppt
● 反传(BP)网络的结构图
一个输入层,一个输出层,多个隐层。
j
p
p1
xp1
x pn
t pk
t pm
Op1
O pn
Op2
隐层
wj1
wjn
输入层
隐层
输出层
信息流
·
·
·
·
·
·
pm
编辑ppt
隐层节点j输出和输入节点p的关系:
输出节点k和隐层输出节点p的关系:
学****过程:
定义输出误差
编辑ppt
学****的目的是要使以下定义的误差平方和最小:
因此,要求以下的偏导,
最后得到二个权值改变的重要公式:
编辑ppt
初始化
加输入和期望输出
计算隐层和输出层的输出
迭代次数加1
调节输出层和隐层的连接权值
改变训练样板
训练样终止?
迭代终止?
BP算法的基本流程
No
No
y
y
编辑ppt
重要结论
具有至少一个隐层的多层前馈网络,如果隐层单元足够多,那么,利用扁平激励函数和线性多项式集成函数,可以对任意感兴趣的函数逼成到任意精度。
扁平激励函数定义:f : R [0,1] 或[-1,1]是非减函数,
扁平激励函数的参数.
理论证明:多层前馈网络是一种通用逼近器
编辑ppt
讨论
隐层的数目和节点的数目,何谓合适?
是否收敛到全局最优?(涉及多维误差曲面的不确定性)
3)收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度