文档介绍：【Applicable to lecture training work report】
《线性判别分析LDA与主成分分析PCA》
线性判别分析（LDA） 与 主成分分析（PCA）
重庆大学 余俊良
第一部分 线性判别分析（相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问 题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多 数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。
基本思想
主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？
基本思想
如果将选取的第一个线性组合即第一个综合变量记为F1 ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息,F1已有的信息就不需要再出现在F2中， 用数学语言表达就是要求Cov(F1 ,F2)=0，称F2为第二主成分，依此类推可以构造出第三、四…第p 个主成分。
最大方差理论
在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。因此我们认为，最好的k维特征是将n维样本点转换为k维后，每一维上的样本方差都很大。
最大方差理论
比如左图有5个样本点，右图将样本投影到某一维上，这里用一条过原点的直线表示
假设我们选择两条不同的直线做投影，那么左右两条中哪个好呢？根据我们之前的方差最大化理论，左边的好，因为投影后的样本点之间方差最大。
最大方差理论
最大方差理论
Su = λu, 这是一个标准的特征值表达式了，λ对应的特征值，u对应的特征向量。
由此var = uTSu = λ
var取得最大值的条件就是λ最大，也就是取得最大的特征值的时候。假设我们是要将一个D维的数据空间投影到M维的数据空间中（M < D)， 那我们取前M个特征向量构成的投影矩阵就是能够使得方差最大的矩阵了。同时，由于u是实对称矩阵的特征向量，因此特征向量之间正交，投影得到的综合变量彼此独立，协方差为0。
最大方差理论
因此，我们只需要对协方差矩阵进行特征值分解，得到的前k大特征值对应的特征向量就是最佳的k维新特征，而且这k维新特征是正交的。得到前k个u以后，样例xi通过以下变换可以得到新的样本。
其中的第j维就是xi在uj上的投影。通过选取最大的k个u，使得方差较小的特征（如噪声）被丢弃。
PCA小结
PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。PCA技术的一个很大的优点是，它是完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的。但是，这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。
总 结
PCA与LDA对比
PCA与LDA的降维对比：
PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。
PCA与LDA对比
LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。主成分分析（PCA）与LDA有着非常近似的意思，LDA的输入数据是带标签的，而PCA的输入数据是不带标签的，所以PCA是一种unsupervised learning。LDA通常来说是作为一个独立的算法存在，给定了训练数据后，将会得到一系列的判别函数（discriminate function），之后对于新的输入，就可以进行预测了。而PCA更像是一个预处理的方法，它可以将原本的数据降低维度，而使得降低了维度的数据之间的方差最大。
LDA的一些限制
1、 LDA至多可生成C-1维子空间 LDA降维后的维度区间在[1,C-1]，与原始特征数n无关，对于二值分类，最多投影到1维。
2、 LDA不适合对非高斯分布样本进行降维。
上图中红色区域表示一类样本，