文档介绍：§7 神经网络的理论基础
传统的基于模型的控制方式:是根据被控对象的数学模型来设计控制器,并对控制规律加以数学解析描述。
模糊控制:是基于专家经验和领域知识总结出若干条模糊控制规则,构成描述具有不确定性复杂对象的模糊关系,通过被控系统输出误差及误差变化和模糊关系的推理合成获得控制器。解决了智能控制中人类语言的描述和推理问题,在机器人模拟人脑的感知、推理等智能行为方面迈出了重要一步,但在数据处理、自学习能力方面还远未达到人脑的境界。
上述两种控制方式都具有显式表达知识的特点。
人工神经网络控制(Artificial work):用来模拟人类大脑神经网络的结构和行为,它从微观结构和功能上对人脑进行抽象和简化,是模拟人类智慧的一条重要途径,反映了人脑的若干基本特征:并行处理、学忆等。不善于显式表达知识,具有很强的逼近非线性函数的能力。
§ 神经网络的发展史
启蒙期(1890~1969)
1890年,《心理学》,讨论了脑的结构和功能。
1943年,(M-P)。
1949年,心理学家Hebb提出了Hebb学习规则。
1958年, latt提出了描述信息在人脑中存储和记忆的数学模型,既感知机模型(Perceptron)。
感知机模型被认为是最早提出的一种神经网络模型,有单层感知机
和多层感知机,与BP网络一样,属前馈型神经网络;但连接权值的有关
要求与BP网络有区别:对于两层(隐含层、输出层)的感知机模型,只
有隐含层到输出层的连接权值能够调整,输入层到隐含层的权值必须固
定(因为当时无权值修正的算法)。能解决与、或等问题,但不能解决
“异或”问题。
1962年,Widrow和Hoff提出了自适应线性神经网络(Adaline网络),并提出了δ学习规则。
低潮期( 1969 ~ 1982)
1969年:Grossberg提出了ART神经网络。
1972年,Kohonen提出了自组织映射的SOM模型。
3 复兴期( 1982 ~ 1986)
1982年,物理学家Hopfield提出了Hopfield神经网络模型,该模型引入能量函数,实现了问题的优化求解,并于1984年成功解决了旅行商路径优化问题(TSP)。
1986年,ellandz在《Parallel Distributed Processing》一书中提出了BP网络模型。
4 新连接机制时期(1986年至今)
从理论走向应用:神经网络芯片和神经计算机。
§ 神经网络的结构
神经网络的结构是由基本处理单元及其连接方法决定的。
一神经网络概念
是仿效生物处理模式,以获取智能信息处理功能的理论。神经网络着眼于脑的微观网络结构,通过大量的神经元的复杂连接,采用由底到顶的方法,通过自学习、自组织和非线性动力学所形成的并行分布方式来处理难于语言化的模式信息。
神经元及其特性
神经元有多个输入:x1、
x2、···、xn和一个输出y组成,
输出由下式描述:
x1
f(u)
u0
1
f(u)
u
1
u
u1
f(u)
1
f(u)
u
u
(a) 二值函数(阈值型函数)
(d) 线性