fisher判别式.doc

文档介绍：前面讲过的感知器准则、最小平方和准则属于用神经网络的方法解决分类问题。下面介绍一种新的判决函数分类方法。由于线性判别函数易于分析,关于这方面的研究工作特别多。历史上,(1936年)开始的。我们知道,在用统计方法进行模式识别时,许多问题涉及到维数,在低维空间行得通的方法,在高维空间往往行不通。因此,降低维数就成为解决实际问题的关键。Fisher的方法,实际上涉及维数压缩。如果要把模式样本在高()维的特征向量空间里投影到一条直线上,实际上就是把特征空间压缩到一维,这在数学上容易办到。另外,即使样本在高维空间里聚集成容易分开的群类,把它们投影到一条任意的直线上,也可能把不同的样本混杂在一起而变得无法区分。也就是说,直线的方向选择很重要。在一般情况下,总可以找到某个最好的方向,使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向,如何实现向最好方向投影的变换,是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量。,假定有个训练样本其中个样本来自类型,个样本来自类型,。两个类型的训练样本分别构成训练样本的子集和。令:,(-1)是向量通过变换得到的标量,它是一维的。实际上,对于给定的,就是判决函数的值。由子集和的样本映射后的两个子集为和。因为我们关心的是的方向,可以令,那么就是在方向上的投影。使和最容易区分开的方向正是区分超平面的法线方向。如下图:图中画出了直线的两种选择,图(a)中,和还无法分开,而图(b)的选择可以使和区分开来。所以图(b)的方向是一个好的选择。下面讨论怎样得到最佳方向的解析式。各类在维特征空间里的样本均值向量:,(-2)通过变换映射到一维特征空间后,各类的平均值为:,(-3)映射后,各类样本“类内离散度”定义为:,(-4)显然,我们希望在映射之后,两类的平均值之间的距离越大越好,而各类的样本类内离散度越小越好。因此,定义Fisher准则函数:(-5)使最大的解就是最佳解向量,也就是Fisher的线性判别式。,它并非的显函数,必须进一步变换。已知:,,依次代入(-1)和(-2),有:,(-6)所以:(-7)其中:(-8)是原维特征空间里的样本类内离散度矩阵,表示两类均值向量之间的离散度大小,因此,越大越容易区分。将(-6)和(-2)代入(-4)式中:(-9)其中:,(-10)因此:(-11)显然:(-12)称为原维特征空间里,样本“类内离散度”矩阵。是样本“类内总离散度”矩阵。为了便于分类,显然越小越好,也就是越小越好。将上述的所有推导结果代入表达式:——广义Rayleigh商(-13)式中和皆可由样本集计算出。用lagrange乘子法求解的极大值点。令分母等于非零常数,也就是:。定义lagrange函数:(-14)对求偏导数:令得到:(-15)从上述推导(-10)~(-12)可知,是维特征的样本协方差矩阵,它是对称的和半正定的。当样本数目时,是非奇异的,也就是可求逆。则:(-16)问题转化为求一般矩阵的特征值和特征向量。令,则是的特征根,是的特征向量。(-17)