文档介绍：文档名
Romt stosut soutste kosot shet otsot somt
IDEA
引 言
设计线性分类器的主要步骤：
根据需求确定准则函数，使准则函数的值反映Ri和Ri是相邻的，则它们的分界就是超平面H的一部分，其定义为gi(x) = gj(x) 。
19
第三章 线性判别函数 郝红卫
线性判别函数和决策面
共有c个决策区域，实际中，超平面的个数往往会少于c(c-1)/2个。如图所示：
20
第三章 线性判别函数 郝红卫
广义线性判别函数
线性判别函数可以写成
通过增加高次项，可以得到二次判别函数（quadratic discriminant function)
21
第三章 线性判别函数 郝红卫
广义线性判别函数
继续增加更高次的项，得到多项式判别函数(polynomial discriminant function)。
这可以看作对某一判别函数做级数展开，然后取其截尾逼近。
由此得到广义线性判别函数(generalized linear discriminant function)
或
22
第三章 线性判别函数 郝红卫
广义线性判别函数
在 中，yi(x)可以是x的任意函数，通过选择合适的y，就可以逼近任意复杂的判别函数，得到的判别函数并不是x的线性函数，但却是y的线性函数。
虽然理论上我们可以通过这种方式来解决非线性问题，但这种变换却使得维数大大增加，陷入“维数灾难”。
23
第三章 线性判别函数 郝红卫
广义线性判别函数
其中一个特例却是有用的，我们可以把线性判别函数写成如下的形式
式中
y称为增广样本向量，a称为增广权向量。
这样做带来的好处是将两个参数w和w0合并成一个参数a。
24
第三章 线性判别函数 郝红卫
两类线性可分情况
线性可分
设有一个包含n个样本的集合，y1,y2,…,yn，其中某些样本为1类，某些为2类。如果有一个线性机器能把每个样本正确分类，即如果存在一个权向量a，使得对于任何y ∈1都有aty>0，而对于任何y ∈2都有aty<0，则称这组样本集是线性可分的；否则称为线性不可分的。反之，如果样本集线性可分，则必存在一个权向量a ，能将每个样本正确分类。
25
第三章 线性判别函数 郝红卫
两类线性可分情况
样本的规范化
样本线性可分，则必存在某个权向量a，使得
如果在来自2类的样本前面加上一个负号，即对yj ∈2，令yj′= -yj，则也有atyj′> 0。 因此，如果我们令
则就可以不管样本原来的类别标志，只要找一个对全部样本yn′都满足atyn′>0的权向量a即可。上述过程称为样本的规范化， yn′叫规范化增广样本向量，在后面仍用yn来表示它。
26
第三章 线性判别函数 郝红卫
两类线性可分情况
解向量和解区
在线性可分的情况下，满足atyn>0的权向量称为解向量，记为a*。
解向量往往不止一个，而是由无穷多个解向量组成一个区域，这样的区域称为解区。
27
第三章 线性判别函数 郝红卫
两类线性可分情况
对解区的限制
对解区加以限制的目的在于使得解向量更可靠。通常认为，越靠近解区中间的解向量，似乎越能对新的样本正确分类。因此，我们可以引入余量b>0，并寻找满足atyn≥b的解向量a*。
实际上，我们主要关心的是求解权向量的算法不至于收敛到解区域的边界上。显然，余量的引入可以很好地避免这个问题。
28
第三章 线性判别函数 郝红卫
两类线性可分情况
引入余量的解区
29
第三章 线性判别函数 郝红卫
梯度下降算法
求解线性不等式组atyi>0的方法：
定义一个准则函数J(a) ，使得当a是解向量时， J(a)为最小。这样就将问题简化为一个标量函数的极小化问题，通常可以用梯度下降法来解决。
梯度下降法的基本步骤：首先任意选择一个初始的权向量a(1)，计算梯度向量▽J(a(1))，然后自a(1)沿梯度负方向移动一段距离得到下一个值a(2) ，反复迭代，最终收敛到一个使J(a)极小化的解上。
30
第三章 线性判别函数 郝红卫
梯度下降算法
取初值a(1)
迭代
其中，η 是正的比例因子，是用于设定步长的“学****率” (learning rate)。
31
第三章 线性判别函数 郝红卫
梯度下降算法
32
第三章 线性判别