文档介绍：线性判别分析LDALDA算法入门 :线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是模式识别的经典算法,它是在1996年由Belhumeur引入模式识别和人工智能领域的。线性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性。因此,它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大,并且同时类内散布矩阵最小。就是说,它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离,即模式在该空间中有最佳的可分离性。二. LDA假设以及符号说明:假设对于一个空间有m个样本分别为,即每个是一个行的矩阵,其中表示属第类的样本个数,假设一共有个类,则。: 类间离散度矩阵:类内离散度矩阵:属于类的样本个数:第个样本 :所有样本的均值 :类的样本均值三. 公式推导,算法形式化描述根据符号说明可得类的样本均值为: ()同理我们也可以得到总体样本均值: ()根据类间离散度矩阵和类内离散度矩阵定义,可以得到如下式子: () ()当然还有另一种类间类内的离散度矩阵表达方式: () ()其中是指类样本的先验概率,即样本中属于类的概率,把代入第二组式子中,我们可以发现第一组式子只是比第二组式子都少乘了,我们将在稍后进行讨论,其实对于乘不乘该,对于算法本身并没有影响,现在我们分析一下算法的思想,我们可以知道矩阵的实际意义是一个协方差矩阵,这个矩阵所刻画的是该类与样本总体之间的关系,其中该矩阵对角线上的函数所代表的是该类相对样本总体的方差(即分散度),而非对角线上的元素所代表是该类样本总体均值的协方差(即该类和总体样本的相关联度或称冗余度),所以根据公式()可知()式即把所有样本中各个样本根据自己所属的类计算出样本与总体的协方差矩阵的总和,这从宏观上描述了所有类和总体之间的离散冗余程度。同理可以的得出()式中为分类内各个样本和所属类之间的协方差矩阵之和,它所刻画的是从总体来看类内各个样本与类之间(这里所刻画的类特性是由是类内各个样本的平均值矩阵构成)离散度,其实从中可以看出不管是类内的样本期望矩阵还是总体样本期望矩阵,它们都只是充当一个媒介作用,不管是类内还是类间离散度矩阵都是从宏观上刻画出类与类之间的样本的离散度和类内样本和样本之间的离散度。LDA做为一个分类的算法,我们当然希望它所分的类之间耦合度低,类内的聚合度高,即类内离散度矩阵的中的数值要小,而类间离散度矩阵中的数值要大,这样的分类的效果才好。这里我们引入Fisher鉴别准则表达式: ()其中为任一维列矢量。Fisher线性鉴别分析就是选取使得达到最大值的矢量作为投影方向,其物理意义就是投影后的样本具有最大的类间离散度和最小的类内离散度。我们把公式()和公式()代入公式()得到: ()我们可以设矩阵其中可以看成是一个空间,也就是说是构成的低维空间(超平面)的投影。也可表示为,而当样本为列向量时,即表示在空间的