文档介绍：1
第十三章主成分分析和因子分析
在建立多元回归模型时，为了更准确地反映事物的特征，人们经常会在模型中包含较多相关解释变量，这不仅使得问题分析变得复杂，而且变量之间可能存在多重共线性，使得数据提供的信息发生重叠，甚至会抹杀事物的真正即为原始变量的 p 个主成份。因此，主成分的求解转变为求 X1, X2, …, Xp 协方差矩阵 的特征值和特征向量的问题。
10
２．主成份的性质
性质1 Y的协方差矩阵为对角阵，即
（）
性质2 设=(ij)p×p是随机变量向量 X 的协方差矩阵，可得
即
11
由此可见，主成分分析是把 p 个随机变量的总方差分解为 p 个不相关随机变量的方差之和1 ＋ 2 ＋…＋ P，则总方差中属于第 i 个主成分（被第 i 个主成分所解释）的比例为
（）
称为第 i 个主成分的贡献度。定义

（）
称为前 m 个主成分的累积贡献度，衡量了前 m 个主成份对原始变量的解释程度。
12
性质3　记第k个主成分 Yk 与原始变量 Xi 的相关系数为r(Yk，Xi)，称为因子载荷，或者因子负荷量，则有

（）
13
3．从相关矩阵出发求解主成分
在实际应用时，为了消除原始变量量纲的影响，通常将数据标准化。考虑下面的标准化变化，令
（）
其中i，ii 分别表示随机变量 Xi 的期望与方差，则
14
原始变量的相关矩阵就是原始变量标准化后的协方差矩阵，因此，由相关矩阵求主成分的过程与由协方差矩阵求主成分的过程是一致的。如果仍然采用（λi ，ei）表示相关矩阵R对应的特征值和标准正交特征向量，根据式（）有：

（）
由相关矩阵求得的主成分仍然满足性质1～3。性质3可以进一步表示为：
（）
15
样本的主成分
1．样本统计量
在实际工作中，我们通常无法获得总体的协方差矩阵和相关矩阵R。因此，需要采用样本数据来估计。设从均值向量为，协方差矩阵为 的 p 维总体中得到的 n 个样本，且样本数据矩阵为
（）
16
则样本协方差矩阵为：

（）
其中:

（）
样本相关矩阵为：

（）
样本协方差矩阵 S 是总体协方差矩阵 的无偏估计量，样本相关矩阵是总体相关矩阵 R 的估计量。
17
2．样本主成份及其性质
由于采用相关矩阵和协方差矩阵求解主成分的过程基本一致，因此本节仅介绍基于样本相关矩阵求解主成分的过程。设样本相关矩阵的特征值为，且
与特征值相对应的标准正交特征向量为，根据式（）第 i 个样本主成分可表示为：

（）
而且
（）
（）
18
且由式（）和性质2可得
（）
则第i个样本主成分的贡献度为，前m个样本主成份的累计贡献度为
另外
（）
19
3．主成份个数的确定
主成分分析的目的之一是减少变量的个数，但是对于应保留多少个主成分没有确切的回答。通常需要综合考虑样本总方差的量、特征值的相对大小以及各成分对现实的阐述。一般所取 m 使得累积贡献率达到85%以上为宜。
另一个比较常用的可视的方法是碎石图，首先将特征值按照从大到小的顺序进行排列，碎石图是特征值与相应序号i的（i，）图形，其中横轴表示序号，纵轴表示特征值。为了确定主成分的合适个数，选择碎石图斜率变化