文档介绍：第四章神经网络基本理论
人工神经元模型
人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。
生物神经元模型
生物神经元主要由细胞体、树突和轴突组成,树突和轴突负责传入和传出信息,兴奋性的冲动沿树突抵达细胞体,在细胞膜上累积形成兴奋性电位;相反,抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加,若代数和超过某个阈值,神经元将产生冲动。
人工神经元模型
人工神经元模型
模仿生物神经元产生冲动的过程,可以建立一个典型的人工神经元数学模型
[x1,…,xn]T为输入向量,y为输出,f(·)为激发函数,θ为阈值。 Wi为神经元与其它神经元的连接强度,也称权值。
人工神经元模型
常用的激发函数f 的种类:
1)阈值型函数
人工神经元模型
2)饱和型函数
3)双曲函数
人工神经元模型
4)S型函数
5)高斯函数
神经网络的定义和特点
神经网络系统是由大量的神经元,通过广泛地互相连接而形成的复杂网络系统。
定义
特点
(1)非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。
(2)自适应性和自组织性。神经元之间的连接具有多样性,各神经元之间的连接强度具有可塑性,网络可以通过学习与训练进行自组织,以适应不同信息处理的要求。
(3) 并行处理性。网络的各单元可以同时进行类似的处理过程,整个网络的信息处理方式是大规模并行的,可以大大加快对信息处理的速度。
(4)分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中,而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用,部分的信息丢失仍可以使完整的信息得到恢复,因而使网络具有容错性和联想记忆功能。
(5)便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合,特别适合于用大规模集成电路实现。
感知器模型
感知器(Perceptron),它是一个具有单层计算单元的神经网络,并由线性阈值元件组成。
激发函数为阈值型函数,当其输入的加权和大于或等于阈值时,输出为1,否则为0或-1。
它的权系W可变,这样它就可以学习。
感知器的结构
感知器模型
感知器的学习算法
为方便起见,将阈值θ(它也同样需要学习)并入W中,令Wn+1=-θ,X向量也相应地增加一个分量xn+1=1,则
学习算法:
①给定初始值:赋给Wi(0)各一个较小的随机非零值,这里Wi(t)为t时刻第i个输入的权(1≤i≤n),Wn+1(t)为t时刻的阈值;
②输入一样本X=(xi,…,xn,1)和它的希望输出d;
③计算实际输出
④修正权W : Wi(t+1)=Wi(t)+η[d-Y(t)]xi, i=1,2,…,n+1
⑤转到②直到W对一切样本均稳定不变为止。
感知器模型
根据某样本训练时,均方差随训练次数的收敛情况