文档介绍：Linear Discriminant Analysis(LDA)
线性判别分析
目录
LDA扩展
LDA简介
1
经典LDA
2
LDA限制
3
4
4
LDA简介
线性判别分析(linear discriminant analysis),也叫Fisher线性判别分析,是特征提取中最为经典和广泛使用的方法之一。 Fisher于1936年提出来的方法【1】,主要是用来解决生物问题( Taxonomic Problems )的分类问题。它是在1996年由Belhumeur【2】引入模式识别和人工智能领域的.
Fisher
(1890-1962)
LDA思想
线性判别分析(LDA)的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性。因此,它是一种有效的特征抽取方法。
两类的线性判别问题
两类的线性判别问题可以看作是把所有的样本都投影到一个方向上,然后在这个一维空间中确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分类面。
如何确定投影方向?
两类的线性判别问题
从直观上看,右图的分类效果比较好,同类之间样本聚集,不同类之间相聚较远
训练样本集:X={x1……..xN},每个样本是d维向量,其中w1类的样本是H1={x11……..xN1}, w2类的样本是H1={x12……..xN2},寻找一个投影方向w(d维向量),
两类的线性判别问题
定量分析:
投影以后样本变成: i=1,2….N
原样本每类样例的均值向量: ( i=1,2)
投影后每类样例的均值: 投影后的均值就是样本中心点的投影
什么是最佳直线(W)?
好的直线,定量表示: J(w)越大越好,但是只考虑J(w)是不行的
两类的线性判别问题
如左图所示,样本点均匀分布在椭圆里,投影到横轴x1上时能够获得更大的中心点间距J(w),但是由于有重叠,x1不能分离样本点。投影到纵轴x2上,虽然J(w)较小,但是能够分离样本点。因此我们还需要考虑样本点之间的方差,方差越大,样本越分散,样本点越难以分离
两类的线性判别问题
散列值(scatter),几何意义是样本点的密集程度,值越大,越分散,值越小,越集中。
投影前
类内离散度矩阵:
总类内离散度矩阵:Sw=S1+S2
类间离散度矩阵:
投影后:
类内离散度:
总类内离散度:
类间离散度:
两类的线性判别问题
我们希望寻找的投影方向使投影以后两类尽可能分开,而各类内部又尽可能聚集,这一目标可以表示成
Finsher 准则函数
目标是求得是上式最大的
投影方向w
JF(w)是广义的Rayleigh熵