文档介绍:有监督的学习
一、预备知识(6)
5、什么是学习?
学习就是对信息进行编码,其目的就是通过向有限个例子(训练样本)的学习来找到隐藏在例子背后(即产生这些例子)的规律(如函数形式)。
当样本数据 如果使用了类成员信息校正突触矢量,就成了监督学习。因为是监督学习,有“教师”信号,我们预先就知道其期望分类,所以实行了奖惩机制:若分对,则奖励;分错则惩罚。
四、已知类隶属度的监督学习(3)
而对应的监督随机竞争学习定律为:
增强函数为:
若x属于Dj,上式中第一项为+1,说明是分对了;若x不属于Dj,上式中第二项为-1,说明是分错了。奖励正确的模式分类+1,惩罚错误的模式分类为-1,从而调整权值,达到学习的目的。
五、感知器学习算法(1)
1、感知器拓扑结构
五、感知器学习算法(2)
2、感知器学习
网络用误差修正规则( 规则)学习,训练样本对为( , )k=1,2,… =( , … )为模拟值模式,输出向量 =( , ,… )为二值模式。网络中, 层的n个单元对应模式 的n个分量 , 层的p个单元对应模式 的P个分量.
所以,感知器最突出的一个特点便是:输入是模拟向量,输出是二值模式。
五、感知器学习算法(3)
由于 层中每个单元只取值+1或-1,因此可将它视作输入模式 (k=1,2…m)两个可能的分类。在学面随机地被 放到N维空间。随着学面渐渐移动,直到它能将两类模式恰当划分为止。
五、感知器学习算法(4)
3、算法过程
从随机的权值开始;
反复应用每个训练样例到感知器,只要它误分样例,就修改感知器的权值;
重复这个过程,直到感知器正确分类所有的训练样例为止。
五、感知器学习算法(5)
4、具体算法:
(1)初始化连接权。将 层到 层的连接权 ,
i=1,2,…n,j=1,2,…,p及 层单元阈值 j=1,2,…p赋予[-1,+1]间的随机值。
(2)对每一模式对( , )k=1,…m,完成下面操作:
A、将 的值送到 层单元, 层单元的输出之加权和作为 层单元的输入,计算 层单元的输出:
五、感知器学习算法(6)
上式中j=1…p,f(x)为双极阶跃函数
B、计算 层单元希望输出与实际输出间误差
五、感知器学习算法(7)
C、调整 层单元与 层单元之间的连接权
式中i=1…n,j=1…p,0< <1
(3)重复步骤(2)直到误差 (j=1…p且k=1…m)变得足够小或变为0为止。
五、感知器学习算法(8)
5、说明:
感知器算法,如果输入模式是线性可分的,学习后能对输入模式正确分类;
如果输入模式本身是线性不可分的,那么学习后的网络不能对输入模式正确分类。
六、LMS算法(1)
1、LMS就是最小均方误差算法。它采用的准则函数是均方误差函数。
它通过调整单个神经元的权值,以使误差为最小,其数学基础是误差曲面上的梯度下降。
其学习过程也是根据教师信号计算其均方误差,由均方误差调整突触向量,如此反复,最后达到学习的目的。
六、LMS算法(2)
2、权值调整公式:
其中 为下一次权值向量的取值, 为现在的权向量, 为现在的输入向量, 为现在的误差, 为系数, 为输入向量的模.
七、反向传播网络学习(1)
1、定义:反向传播神经网络(Back-Propagation Networks)简称BP模型。由于在这一神经网络模型中引入了中间隐含神经元层,所以,标准的BP模型由三个神经元层次组成,分别为输入层、隐层和输出层。各层次之间的神经元形成全互连接,各层次内的神经元之间没有连接。
七、反向传播网络学习(2)
2、BP算法是通过使代价函数最小化的过程来完成输入到输出的映射。
代价函数有多种,但通常在BP算法中,将代价函数定义为期望输出与实际输出的误差平方和。
在本算法中,将代价函数(期望输出与实际输出的误差平方和)用与其等价