文档介绍：有监督的学习
一、预备知识（6）
5、什么是学习？
学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。
当样本数据 如果使用了类成员信息校正突触矢量，就成了监督学习。因为是监督学习，有“教师”信号，我们预先就知道其期望分类，所以实行了奖惩机制：若分对，则奖励；分错则惩罚。
四、已知类隶属度的监督学习（3）
而对应的监督随机竞争学习定律为：
增强函数为：
若x属于Dj,上式中第一项为+1，说明是分对了；若x不属于Dj,上式中第二项为-1，说明是分错了。奖励正确的模式分类＋1，惩罚错误的模式分类为－1，从而调整权值，达到学习的目的。
五、感知器学习算法（1）
1、感知器拓扑结构
五、感知器学习算法（2）
2、感知器学习
网络用误差修正规则（ 规则）学习，训练样本对为（ ， ）k=1,2,… =（ , … ）为模拟值模式，输出向量 =（ , ,… ）为二值模式。网络中， 层的n个单元对应模式 的n个分量 ， 层的p个单元对应模式 的P个分量.
所以，感知器最突出的一个特点便是：输入是模拟向量，输出是二值模式。
五、感知器学习算法（3）
由于 层中每个单元只取值+1或-1，因此可将它视作输入模式 (k=1,2…m)两个可能的分类。在学面随机地被 放到N维空间。随着学面渐渐移动，直到它能将两类模式恰当划分为止。
五、感知器学习算法（4）
3、算法过程
从随机的权值开始；
反复应用每个训练样例到感知器，只要它误分样例，就修改感知器的权值；
重复这个过程，直到感知器正确分类所有的训练样例为止。
五、感知器学习算法（5）
4、具体算法：
（1）初始化连接权。将 层到 层的连接权 ,
i=1,2,…n,j=1,2,…,p及 层单元阈值 j=1,2,…p赋予[-1，+1]间的随机值。
(2)对每一模式对（ ， ）k=1,…m,完成下面操作：
A、将 的值送到 层单元， 层单元的输出之加权和作为 层单元的输入，计算 层单元的输出：
五、感知器学习算法（6）
上式中j=1…p，f(x)为双极阶跃函数
B、计算 层单元希望输出与实际输出间误差
五、感知器学习算法（7）
C、调整 层单元与 层单元之间的连接权
式中i=1…n,j=1…p,0< <1
(3)重复步骤（2）直到误差 （j=1…p且k=1…m）变得足够小或变为0为止。
五、感知器学习算法（8）
5、说明：
感知器算法，如果输入模式是线性可分的，学习后能对输入模式正确分类；
如果输入模式本身是线性不可分的，那么学习后的网络不能对输入模式正确分类。
六、LMS算法(1)
1、LMS就是最小均方误差算法。它采用的准则函数是均方误差函数。
它通过调整单个神经元的权值，以使误差为最小，其数学基础是误差曲面上的梯度下降。
其学习过程也是根据教师信号计算其均方误差，由均方误差调整突触向量，如此反复，最后达到学习的目的。
六、LMS算法(2)
2、权值调整公式：
其中 为下一次权值向量的取值， 为现在的权向量， 为现在的输入向量， 为现在的误差， 为系数， 为输入向量的模.
七、反向传播网络学习（1）
1、定义：反向传播神经网络（Back-Propagation Networks）简称BP模型。由于在这一神经网络模型中引入了中间隐含神经元层，所以，标准的BP模型由三个神经元层次组成，分别为输入层、隐层和输出层。各层次之间的神经元形成全互连接，各层次内的神经元之间没有连接。
七、反向传播网络学习（2）
2、BP算法是通过使代价函数最小化的过程来完成输入到输出的映射。
代价函数有多种，但通常在BP算法中，将代价函数定义为期望输出与实际输出的误差平方和。
在本算法中，将代价函数（期望输出与实际输出的误差平方和）用与其等价