文档介绍：第11章 主成分分析与因子分析
《管理统计学》
1
主成分分析
主成分概念首先由 Karl Pearson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。
在多数实际问题评估中，不同指标之间是有一定相关性。由于指标较多及指标间有一定的相关性，势必增加分析问题的复杂性。
主成分分析就是设法将原来指标重新组合成一组新的互不相关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。
2
引例
一项十分著名的工作是美国的统计学家斯通(Stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。
在进行主成分分析后，％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入i、总收入变化率i以及时间t因素做相关分析，得到下表：
3
F1
F2
F3
i
△i
t
F1
1
F2
0
1
F3
0
0
1
i
-
l
i
-
-
-
l
t
-
-
-
-
-
1
4
主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。
在社会经济的研究中，为了全面系统地分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。
主成分分析是考察多个数值变量间相关性的一种多元统计方法。对所导出几个主成分（综合指标），要求尽可能多地保留原始变量的信息，且彼此间不相关。它是研究如何通过少数几个主成分来解释多变量的方差—协方差结构。
5
一般地，利用主成分分析得到的主成分与原始变量之间有下列关系：
每一个主成分都是原始变量的线性组合
主成分的数目大大少于原始变量的数目
主成分保留了原始变量绝大多数信息
各主成分之间互不相关
6
数学描述
随机向量的方差-协方差矩阵
所谓随机向量是指其各分量中至少有一个是随机变量的向量。由于在计量经济分析中不可避免地会涉及随机向量，因此下面简单介绍随机向量的特征。
设
是随机向量。则它的期望值为
7
X的方差（方差—协方差矩阵）为
由于通过这一表达式计算得到的矩阵不仅包括方差也包括协方差，所以常称它为方差—协方差矩阵，记为Var-Cov(X)（在不引起混淆的情况下也称为方差矩阵或协方差矩阵，记为Var(X) 或Cov(X)).
8
样本描述
调查n个个体（样本）在这k (k < n)个指标下的数值（或者用这k个指标来评价n个对象），就可得到数据矩阵Xkn:
对样本也可计算相应的协方差矩阵为
9
其中
是Cov(Xi, Xj)=E[(Xi – E(Xi))(Xj – E(Xj))]的极大似然估计量，也可使用矩估计量，只需将上面的表达式中的系数由1/n换成1/(n – 1)即可。
例如 对于二维数据
由极大似然法估计的协方差矩阵为
而由矩估计得到的协方差矩阵就是将上面矩阵中将系数换成1/2后的矩阵[1]。
协方差矩阵的意义在于它刻画了变量之间的相关性
10