文档介绍：主成分分析(ponentsanalysis,简称PCA)是由霍特林(Hotelling)于1933年首先提出的。它通过投影的方法,实现数据的降维,在损失较少数据信息的基础上把多个指标转化为几个有代表意义的综合指标。,记为X1,X2,…,Xp,由这p个随机变量构成的随机向量为X=(X1,X2,…,Xp),设X的均值向量为,协方差矩阵为。设Y=(Y1,Y2,…,Yp)为对X进行线性变换得到的合成随机向量,即()设i=(i1,i2,…,ip),(),A=(1,2,…,p),则有()2且()由式()和式()可以看出,可以对原始变量进行任意的线性变换,不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi应尽可能多地反映p个原始变量的信息,通常用方差来度量“信息”,Yi的方差越大表示它所包含的信息越多。由式()可以看出将系数向量i扩大任意倍数会使Yi的方差无限增大,为了消除这种不确定性,增加约束条件:(方差)的贡献大小,而对于原始随机变量X1,X2,…,Xp,其协方差矩阵或相关矩阵正是对各变量离散程度和相关程度的度量。在实际求解主成分时,一般从原始变量的协方差矩阵或相关矩阵的结构分析出发。1是任意p1向量,求解主成份就是在约束条件下,求X的线性函数使其方差达到最大,即达到最大,且,其中是随机变量向量X=(X1,X2,…,Xp)的协方差矩阵。设1≥2≥…≥p≥0为的特征值,e1,e2,…,ep为矩阵各特征值对应的标准正交特征向量,则对于任意的ei和ej,有()且()6因此()当1=e1时有()此时达到最大值为1。同理有并且()7由上述推导得()可见Y1,Y2,…,Yp即为原始变量的p个主成份。因此,主成分的求解转变为求X1,X2,…,Xp协方差矩阵的特征值和特征向量的问题。,即()性质2设=(ij)p×p是随机变量向量X的协方差矩阵,可得即9由此可见,主成分分析是把p个随机变量的总方差分解为p个不相关随机变量的方差之和1+2+…+P,则总方差中属于第i个主成分(被第i个主成分所解释)的比例为()称为第i个主成分的贡献度。定义()称为前m个主成分的累积贡献度,衡量了前m个主成份对原始变量的解释程度。10