文档介绍：主成分分析主成分分析( ponents Analysis ) 也称主分量分析,是由 Hotelling 于 193 3 年首先提出的。主成分分析是利用降维的思想, 把多个指标转化为少数几个综合指标的多元统计分析方法。本节主要介绍主成分分析的基本理论和方法, 并结合实例讨论该方法在社会、经济研究中的应用。 主成分分析的基本思想在经济实证问题研究中,为了全面、系统地分析问题,必须考虑众多对某经济过程有影响的因素。所涉及的因素称为指标。在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息, 并且指标之间彼此有一定的相关性, 因而所得到的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时, 变量太多会增大计算量和增加分析问题的复杂性,人们自然希望在进行定量分析的过程中涉及的变量较少, 而得到的信息量又较多。主成分分析是解决这一问题的理想工具。因为经济问题涉及的众多变量之间既然有一定的相关性, 就必然存在着支配作用的共同因素, 找出影响某一经济过程的几个综合指标, 使综合指标为原来变量的线性组合。综合指标不仅保留了原始变量的主要信息, 彼此之间又不相关, 又比原始变量具有某些更优越的性质, 使得在研究复杂的经济问题时容易抓住主要矛盾。(1) 主成分的几何意义与一般数学模型 1 .主成分的几何意义为了方便,在二维空间中讨论主成分的几何意义。设有 n 个样本单位,每个样本单位有两个观测变量 21xx和,在由变量 21xx和所确定的二维平面中,n 个样本点所散布的情况如带状, 可以看出这 n 个样本点无论是沿着 1x 轴方向或 2x 轴方向都具有较大的离散性, 其离散的程度可以分别用观测变量 1x 的方差和 2x 的方差定量地表示。显然,如果只考虑 1x 和2x 中的任何一个,那么包含原始数据中的经济信息将会有较大的损失。如果将 1x 轴和 2x 轴同时按逆时针方向旋转?角度, 得到新坐标轴 1y 和2y 是两个新变量。根据旋转变换公式???????????? cos sin sin cos 212 211xxy xxy ( 11- 13) 看到新变量 1y 和2y 是原始变量 1x 和2x 的线性组合,它的矩阵表示形式为: XUx xy y /2 12 1 cos sin sin cos ???????????????????????????( 11- 14) 其中, /U 为旋转变换矩阵,它是正交矩阵,即有 IUUUU???/1/, 旋转变换的目的是为了使得 n 个样本点在 1y 轴方向上的离散程度最大,即1y 的方差最大。变量 1y 代表了原始数据的绝大部分信息,在研究某经济问题时,即使不考虑变量 2y 也无损大局。这样, 经过上述旋转变换就可以把原始数据的信息集中到 1y 轴上对数据中包含的信息起到了浓缩作用。 21,yy 除了可以对包含在 21,xx 中的信息起到浓缩作用之外,还具有不相关的性质,这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上 n 个点的方差大部分都归结在 1y 轴上,而2y 轴上的方差很小, 1y 和2y 称为原始变量 1x 和2x 的综合变量。 1 主成分分析的一般数学模型设在 p 个变量 pxxx ,..., , 21 所描述的事物总体中抽取一个样本共有 n 个样本单位, ) ,..., ,( 21 ipiixxx) ,..., 2,1(ni?这样就有原始数据矩阵??????????????? np nn p pxxx xxx xxxX... ............ ... ... 21 222 21 112 11( 11- 15) 其中数据 ijx 的第一个下标 i 是样本单位, 第二个小标 j 是第 j 个变量, ijx 即第 i 个样本单位的第 j 个变量的值。为了计算变量间的协方差矩阵,先计算??? ni ij jxn x 111 )( 1 2?????n xx ni j ijj? j j ij ijxxz?/)(??) ,..., 2,1; ,..., 2,1(pjni??这样得到矩阵??????????????? np nn p pzzz zzz zzzZ... ............ ... ... 21 222 21 112 11( 11- 16) 那么对于变量 pxxx ,..., , 21 的相关系数矩阵 ZZn R T1?( 11- 17) 其中矩阵??????????????? np pp n nTzzz zzz zzzZ... ............ ... ... 21 222 12 121 11 现在问题就归结为寻找一个变换, 它能把变量 pzzz ,..., , 21 变换成一组互不相关