文档介绍：有监督和BP神经网络1
神经网络的发展历史
始于19世纪末20世纪初，源于物理学、心理学和神经生理学的跨学科研究。
现代研究：20世纪40年代。从原理上证明了人工神经网络可以计算任何算术相逻辑函数。可以认为是神经网络领域研究工作的开有监督和BP神经网络1
神经网络的发展历史
始于19世纪末20世纪初，源于物理学、心理学和神经生理学的跨学科研究。
现代研究：20世纪40年代。从原理上证明了人工神经网络可以计算任何算术相逻辑函数。可以认为是神经网络领域研究工作的开始。
人工神经网络第一个实际应用出现在20世纪50年代后期，Frank Rosenblatt提出了感知机网络和联想学习规则。
在60年代，由于缺乏新思想和用于实验的高性能计算机，曾一度动摇了人们对神经网络的研究兴趣。
到了80年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。
有两个新概念对神经网络的复兴具有重大的意义：
其一：用统计机理解释某些类型的递归网络的操作，这类网络可作为联想存储器；
其二：在20世纪80年代，几个不同的研究者分别开发出了用于训练多层感知器的反传算法。
神经网络的应用
航空：高性能飞行器自动驾驶仪，飞行路径模拟，飞机控制系统，自动驾驶优化；器，飞行部件模拟，飞行器部件故障检测器
汽车：汽车自动导航系统，担保行为分析器
银行：支票和其他公文阅读器，信贷申请的评估器
国防：武器操纵，目标跟踪，目标辨识，面部识别、新型的传感器，声纳．雷达和图像信号处理(包括数据压缩、特征提取、噪声抑制、信号／图像的识别)
电子：
娱乐：
金融：
保险：
制造：
医疗：
石油、天然气：
机器人：
有价证券：
电信：
交通：
生物学的启示
人工神经网络却没有人脑那么复杂，但它们之间有两个关键相似之：
首先，两个网络的构成都是可计算单元的高度互连(虽然人工神经元比生物神经元简单得多)。其次，处理单元之间的连接决定了网络的功能。
●神经元网络的简化模型
ai1
ai2
a in
bi1
bi2
bim
wi
y1
y2
y n
u1
uk
um
1
vi
x i
y i
●神经元网络的一般模型框架
1）加法器
2）线性动态系统（SISO）
3）静态非线性系统
︰
︰
式中 aij 和bik 为权系数，i,j =1,2,…,n,
k= 1,2,…m. n 个加法器可以写成向量形式：
—— N维列向量
—— N维列向量（单元输出）
——N×N维矩阵
——N×M维矩阵
—— M维列向量（外部输入）
—— M维常向量
输入与输出的关系：
权矩阵可以按下式求解：
学习规则：
代表输入与输出的差别。
是学习因子
这学习规则即是著名的学习规则。
随着学习迭代次数k的增加，保证网络的收敛。
● 反传（BP）网络
误差反传（学习算法）
（BP）网络与感知器的主要差别在于：（BP）网络的节点
是非线性的。
采用广义学习规则。
● 反传（BP）网络的结构图
一个输入层，一个输出层，多个隐层。
j
p
p1
xp1
x pn
t pk
t pm
Op1
O pn
Op2
隐层
wj1
wjn
输入层
隐层
输出层
信息流
·
·
·
·
·
·
pm
隐层节点j输出和输入节点p的关系：
输出节点k和隐层输出节点p的关系：
学习过程：
定义输出误差
学方和最小：
因此，要求以下的偏导，
最后得到二个权值改变的重要公式：
初始化
加输入和期望输出
计算隐层和输出层的输出
迭代次数加1
调节输出层和隐层的连接权值
改变训练样板
训练样终止？
迭代终止？
BP算法的基本流程
No
No
y
y
重要结论
具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼成到任意精度。
扁平激励函数定义：f : R [0,1] 或[-1,1]是非减函数,
扁平激励函数的参数.
理论证明:多层前馈网络是一种通用逼近器
讨论
隐层的数目和节点的数目,何谓合适?
是否收敛到全局最优?(涉及多维误差曲面的不确定性)
3)收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度下降法本身的缺点）
作业
阅读：Martin T. Hagu