文档介绍：1PCA和LDAtNotEasv/archive/2011/01/08/lda-and-Dca-:LDA的全称是LinearDiscriminantAnalysis(线性判别分析),是一种supervisedlearning。有些资料上也称为是Fisher'sLinearDiscriminant,因为它被RonaldFisher发明自1936年,Discriminant这次词我个人的理解是,一个模型,不需要去通过概率的方法来训练、预测数据,比如说各种贝叶斯方法,就需要获取数据的先验、后验概率等等。LDA是在目前机器学****数据挖掘领域经典且热门的一个算法,据我所知,百度的商务搜索部里面就用了不少这方面的算法。LDA的原理是,将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近。要说明白LDA,首先得弄明白线性分类器(LinearClassifier):因为LDA是一种线性分类器。对于K■分类的一个分类问题,会有K个线性函数:H(X)=祈》+吗0当满足条件:对于所有的j,都有Yk>Yj,的时候,我们就说x属于类别k。对于每一个分类,都有一个公式去算一个分值,在所有的公式得到的分值中,找一个最大的,就是所属的分类了。上式实际上就是一种投影,是将一个高维的点投影到一条高维的直线上,LDA最求的目标是,给出一个标注了类别的数据集,投影到了一条直线之后,能够使得点尽量的按类别区分开,当k=2即二分类问题的时候,如下图所示:红色的方形的点为。类的原始点、蓝色的方形点为1类的原始点,经过原点的那条线就是投影的直线,从图上可以清楚的看到,红色的点和蓝色的点被原点明显的分开了,这个数据只是随便画的,如果在高维的情况下,看起来会更好一点。下面我来推导一下二分类LDA问题的公式:假设用来区分二分类的直线(投影函数)为:y=w1xLDA分类的一个目标是使得不同类别之间的距离越远越好,同一类别之中的距离越近越好,所以我们需要定义几个关键的值。类别i的原始中心点为:(Di表示属于类别i的点)外5类别i投影后的中心点为:二7'zw,=w衡量类别i投影后,类别点之间的分散程度(方差)为:£=£(》一无)2最终我们可以得到一个下面的公式,表示LDA投影到w后的祓失函数:|刀1一也|2J(w)= ■我们分类的目标是,使得类别内的点距离越近越好(集中),类别间的点越远越好。分母表示每一个类别内的方差之和,方差越大表示一个类别内的点越分散,分子为两个类别各自的中心点的距离的平方,我们最大化J(w)就可以求出最优的W了。想要求出最优的W,可以使用拉格朗日乘了法,但是现在我们得到的J(w)里面,W是不能被单独提出来的,我们就得想办法将W单独提出来。我们定义-个投影前的各类别分散程度的矩阵,这个矩阵看起来有一点麻烦,其实意思是,如果某-个分类的输入点集Di里面的点距离这个分类的中心店mi越近,则Si里面元素的值就越小,如果分类的点都紧紧地围绕着mi,,将J(w)分母化为:x_w1)2=£ (x-叫)(x一〃lYw=wz妃L+s「=w1(S]+S2)w=同样的将J(w)分子化为:|W]一mJ=w(〃“-m2)(/??!-zn2)wShx\这样损失函数可以化成下面的形式:wSww这样就可以用最喜欢的拉格朗H乘了法了,但是还有一个问题,如果分了、分母是都可以取任意值的,那就会使得有无穷解,我们将分母限制为长度为1(这是用拉格朗日乘子法•个很重要的技巧,在下面将说的PCA里面也会用到,如果忘记了,请复****下高数),并作为拉格朗日乘子法的限制条件,带入得到:c(w)=w1SHw-2(m^zSww-1)=2S"W-22S“w=0dvr=>SHw=人S“w这样的式子就是一个求特征值的问题了。对于N(N>2)分类的问题,我就直接写出下面的结论了:Sj矿=£s’Ml,Sr=£n(m,-〃7)例-时’/■ISrW,=人&叫这同样是一个求特征值的问题,我们求出的第i大的特征向量,就是对应的Wifo这里想多谈谈特征值,特征值在纯数学、量子力学、固体力学、计算机等等领域都有广泛的应用,特征值表示的是知阵的性质,当我们取到矩阵的前N个最大的特征值的时候,我们可以说提取到的矩阵主要的成分(这个和之后的PCA相关,但是不是完全…样的概念)。在机器学****领域,不少的地方都要用到特征值的计算,比如说图像识别、、还有之后将会提到的PCA等等。下图是图像识别中广泛用到的特征脸(eigenface),提取出特征脸有两个目的,首先是为『压缩数据,对于一张图片,只需要保存其最重要的部分就是了,然后是为了使得程序更容