文档介绍：:..2、线性鉴别分析简介线性鉴别分析(LinearDiscriminantAnalysis),是信号处理中一种用来筛选所需信号的常用方法。关于线性鉴别分析的研究应追溯到Fisher在1936年发表的经典论文(),其基本思想是选择使得Fisher准则函数达到极值的向量作为最佳投影方向,从而使得样本在该方向上投影后,达到最大的类间离散度和最小的类内离散度。在Fisher思想的基础上,Wilks和Duda分别提出了鉴别矢量集的概念,即寻找一组鉴别矢量构成子空间,以原始样本在该子空间内的投影矢量作为鉴别特征用于识别。1970年Sammon提出了基于Fisher鉴别准则的最佳鉴别平面的概念。随后,Foley和Sammon进一步提Hl了采用一组满足正交条件的最佳鉴别矢量集进行特征抽取的方法。1988年Duchene和Leclercq给出了多类情况下最佳鉴别矢量集的计算公式。2001年Jin和Yang从统计不相关的角度,提出了具有统计不相关性的最优鉴别矢量集的概念。与F-S鉴别矢量集不同的是,具有统计不相关性的最优鉴别矢量是满足共轨正交条件的,该方法被称为不相关的鉴别分析或Jin-Yang线性鉴别法。以上提到的各种方法仅适用于类内散布魁非奇异(可逆)的情形,但实际应用中存在着大量的典型的小样本问题,比如在人脸图像识别问题中,类内散布矩阵经常是奇异的。这是因为待识别的图像矢量的维数一般较高,而在实际问题中难以找到或根本不可能找到足够多的训练样本来保证类内散布矩阵的可逆性。因此,在小样本情况下,如何抽取Fisher最优鉴别特征成为一个公认的难题[3〜5,7〜11,18〜20]。小样本情况下线性鉴别分析方法近几年來关于小样本情况下线性鉴别分析方法的研究激起了人们的广泛兴趣,相继提出不少解决该类问题的方法。概括起来,这些方法叮分为以下两类[18]:1)从模式样本出发,即在模式识别之前,通过降低模式样本特征向量的维数达到消除奇异性的目的。基于这一思想的处理方法可分为两种:一是利用变换降维,典型的代表是Eigenfaces方法和増强Fisher线性鉴别模型法;二是通过降低图像的分辨率实现降维。第1种方法保留主分量上的投影信息,抛弃了次分量上的信息;第2种方法无疑会丢失图像的某些细节信息。即这两种降维方法虽然可以消除奇异性,但都是以鉴别信息的损失为代价的,因此无法保证所抽取的特征是最优的。2)从算法本身入手,通过发展直接针对于小样本问题的算法來解决问题[4,5,7〜9]oHong等人提岀的扰动法是一个近似算法,其基本思想是,当类内散布矩阵奇异时,通过对之进行一个小的扰动,使得扰动后的矩阵变为非奇异的,以扰动后的矩阵代替原来的类内散布矩阵进行鉴别矢量的求解,从而将问题转化为可逆的情形加以解决。与之不同的是,Liu给出了一个精确算法,称为正交补空间法。正交补空间法的弱点在于,每求解一个最优鉴别矢量