文档介绍：线性判别函数
第1页，此课件共62页哦
在上一章中我们讨论了贝叶斯决策理论和统计判别方法。从原理上说贝叶斯决策理论采用了在d维特征空间中样本分布的最一般描述方式，即统计分布来描述，并且采用分类器中最重要的指标——错误率作为产生判上，（1936年）开始的。我们知道，在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。
第17页，此课件共62页哦
如果要把模式样本在高(d)维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。另外，即使样本在高维空间里聚集成容易分开的群类，把它们投影到一条任意的直线上，也可能把不同的样本混杂在一起而变得无法区分。也就是说，直线的方向选择很重要。
如上所述，设计线性分类器首先要确定准则函数，然后再利用训练样本集确定该分类器的参数，以求使所确定的准则达到最佳。该分类器的参数决定后，在使用线性分类器时，未知样本的分类由其判别函数值决定，而每个样本的判别函数值是其各分量的线性加权和再加上一阈值w0。
第18页，此课件共62页哦
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量。
换句话说， Fisher准则的基本原理，就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。
第19页，此课件共62页哦
第20页，此课件共62页哦
从d维空间到一维空间的方法
设有d维样本 ，其中 个属于 类的样本集X1， 个属于 类的样本集X2，若对 的分量做线性组合可得标量
这样就得到N个一维样本组成的集合，并可分为两个子集。因此，前述寻找最好投影方向的问题，在数学上就是寻找最好的变换向量 的问题。
第21页，此课件共62页哦
，分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量W的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。为了将这个思路变为可计算的函数值，我们先对一些基本参量下定义。
第22页，此课件共62页哦
基本参量
在d 维X空间
(1)各类样本均值向量
(2)样本类内离散度矩阵 和总类内离散度矩阵
第23页，此课件共62页哦
(3)样本类间离散度矩阵
其中 是对称半正定矩阵，而且当N>d时通常是非奇异的。
2. 在一维Y空间
(1)各类样本均值
第24页，此课件共62页哦
(2)样本类内离散度 和总类内离散度
第25页，此课件共62页哦
定义准则函数
显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数
第26页，此课件共62页哦
第27页，此课件共62页哦
—— 广义Rayleigh商
第28页，此课件共62页哦
下面求使 取极大值时的
令分母等于非零常数，也就是：
定义lagrange函数：
对w求偏导数：
令偏倒数为零，得
第29页，此课件共62页哦
因为 非奇异，可得
式中
从而可得
忽略比例因子
(3-32)
第30页，此课件共62页哦
向量 就是使Fisher准则函数 达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向。
由(3-32)表示的最佳投影方向是容易理解的，因为其中一项(m1-m2)是一向量，显然从两类均值在变换后距离最远这一点看，对与(m1-m2)平行的向量投影可使两均值点的距离最远。但是如从使类间分得较开，同时又使类内密集程度较高这样一个综合指标来看，则需根据两类样本的分布离散程度对投影方向作相应的调整，这就体现在对 (m1-m2) 向量按     作一线性变换，从而使Fisher准则函数达到极 值点。
第31页，此课件共62页哦
由Fisher线性判别式求解向量的步骤：
① 把来自两类 的训练样本集X分成 和 两个子集 和 。
② 由