第十三章主成分分析和因子分析.pdf

文档介绍：: .
第十三章第十三章 且与Y1不相关的条件下，其方差达到最
大；……；Yp是在满足约束(1) ，且与Y1，Y2，…，Y p-1不相
关的条件下，在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为原始
变量的第一主成分、第二主成分、…、第 p 主成分，而且各
成分方差在总方差中占的比重依次递减。在实际研究工作
中，仅挑选前几个方差较大的主成分，以达到简化系统结构
的目的。
总体主成分求解及其性质总体主成分求解及其性质

变量的方差大小及其对原始变量波动(方差)的贡献大
小，而对于原始随机变量X1，X2，…，Xp，其协方差
矩阵或相关矩阵正是对各变量离散程度和相关程度的
度量。在实际求解主成分时，一般从原始变量的协方
差矩阵或相关矩阵的结构分析出发。
61．从协方差矩阵出发求解主成分
设1是任意 p1向量，求解主成份就是在约束条件 ai ai  1
下，求 X 的线性函数Y1  a1X 使其方差var(Y1 )  a1Σa1 达到最
大，即达到最大，且ai ai  1 ，其中 是随机变量向量X =(X1,
X2, …, Xp)的协方差矩阵。设1 ≥ 2 ≥ … ≥ p ≥ 0 为 的特征
值，e1 , e2 ,…, ep为 矩阵各特征值对应的标准正交特征向量，
则对于任意的ei 和 ej，有
1, i  j
eie j   （）
0, i  j
且
p p
 e e  I
Σ  i ei ei ,  i i （）
i1
i1 7

因此
p p 
     
a1 Σa1  a1 ( i ei ei )a1  1a1 (ei ei )a1  1a1 Ia1  1
i1 i1
（）
当1 = e1 时有
e1Σe1  e11e1  1e1e1  1 （）
此时var(Y1 )  a1Σa1 达到最大值为1。同理有 var(eiX )  i
并且
cov(eiX ,ej X )  eiΣe j   j eie j  0, i  j  1, 2,, p
（）
8由上述推导得
（）
Y1  e1X ,Y2  e2 X ,,Yp  ep X
可见Y1, Y2, …, Yp 即为原始变量的