文档介绍：线性判别函数
第1页，此课件共61页哦
引言
问题的提出
线性决策面是较简单的，易于实现，因此本章主要讨论线性分类器。
第2页，此课件共61页哦
引言
判别函数形式
第3页，此课件共61页哦
50年代由Rosenblatt提出，用于脑模型感知器，故称为感知准则函数。该模型未获成功，主要由于无法解决非线性问题，但其思想可沿用。
第19页，此课件共61页哦
（两类）
基本思想
分类器形式已定，只要估计出权值向量即完成分类器设计。感知器采用迭代的方法，是一种典型的赏罚过程，对正确分类的模式则“赏”，这里即“不罚”，权向量不变。对错误分类的模式则“罚”，即修正权向量。
第20页，此课件共61页哦
（两类）
样本及权向量的增广
第21页，此课件共61页哦
（两类）
样本的规范化
如果样本集是线性可分的，必然存在某个权向量可使
第22页，此课件共61页哦
（两类）
感知准则函数的构造
感知器（perceptron)
对被错分样本的处理
准则函数为0时无错分
优化目标：令准则函数极小，采用梯度下降法
第23页，此课件共61页哦
（两类）
感知准则函数的梯度下降求解
寻求最优的a令J极小
迭代方式寻找极小值
思想：由某一初值开始，沿某一方向，按某一步长搜寻极小值，由于梯度是函数值增长最快的方向，沿负梯度即为函数下降最快的方向，沿此方向可最快到达极小点，故称梯度下降法。
第24页，此课件共61页哦
（两类）
纯量对向量求导
补充定义：纯量对向量求导
负负为正
第25页，此课件共61页哦
（两类）
感知准则函数梯度下降法步骤
收敛，结束
第26页，此课件共61页哦
（两类）
步骤描述
（1）给定初始权向量a(1)和步长
（2）找出被权向量a(k)错分的所有样本，转（3）；如 无错分样本，算法结束。
（3）按迭代公式求新的权向量a(k+1)，转（2）
第27页，此课件共61页哦
（两类）
例：已知两类样本，以感知器算法求解分类器（求判别函数）
第28页，此课件共61页哦
（两类）
解：写出规范化增广样本向量
第29页，此课件共61页哦
（两类）
第30页，此课件共61页哦
（两类）
批处理—把所有错分类样本一次性找出来修正
与人的学****方式不同，人采用“单样本修正”方式
单样本修正—找出一个错分样本即进行修正
第31页，此课件共61页哦
（两类）
按单样本修正法重作例题
固定增量法
第32页，此课件共61页哦
（两类）
迭代方法要从理论上证明收敛，此处仅以图形方式说明
修正前错分类
修正后正确分类
第33页，此课件共61页哦
（两类）
结论：可以证明，采用梯度下降法对于线性可分的样本集，经过有限步修正，一定能找到一个使准则函数达到极小值的权向量a，即算法在有限步内收敛，其收敛速度取决于初始权向量和步长。
分类界面接近最终位置时，步长需选得较小，否则修正过头。但如各步步长都选得很小，收敛速度变慢。为此，采用变步长方案。
对于线性不可分情况，算法不收敛。
第34页，此课件共61页哦
（两类）
单样本修正与批处理的比较：
（1）学****开始时不能得到所有的训练样本，必须使用在线方法。
（2）训练样本数很大时，单样本方便，比批处理有效，因为批处理需要附加记忆来积累局部更新。
（3）单样本引入一些随机噪声，有助于逃离局部极小值。批处理引入一些平均滤波。
（4）单样本适合大规模分类问题，因为很多训练样本含有冗余信息，对梯度贡献类似，更新权值前计算所有样本浪费。
第35页，此课件共61页哦
（两类）
单样本修正与批处理的比较：
（5）批处理对梯度矢量估计较好，避免了权值变化相互影响，因此需要高精度映射时，选用批处理方法，但其难于通过提高计算速度来补偿增加的计算开销。
（6）批处理在复杂优化中有直接应用，单样本与批处理的相对有效性与求解的问题直接相关。
结论：许多情况下，单样本修正优于批处理，特别是对大的和冗余的训练集。
第36页，此课件共61页哦
感知器对线性不可分情况不收敛
∵样本集是否线性可分无法确定
∴希望找到一种既适合线性可分又适合线性不可分情况的算法。
该算法具有如下特性：
对于线