文档介绍：第10章 主成分分析与因子分析
主成分分析
因子分析
学****目标
2
*
主成分分析
主成分分析的原理
多元统计分析处理的是多变量(多指标)问题。由于变量较多,增加了分析问题的复杂性。但在实际问题中,变量之间可能存在一定的相关性,因此,多变量中可能存在信息的重叠。人们自然希望通过克服相关性、重叠性,用较少的变量来代替原来较多的变量,而这种代替可以反映原来多个变量的大部分信息,这实际上是一种“降维”的思想。
“主成分分析”、“因子分析” 都可以用来对数据进行降维。
4
*
主成分分析的基本思想
主成分分析(ponents analysis)是由Hotelling于1933年首先提出的。
由于多个变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式,从这些指标中尽可能快地提取信息。
当这些变量的第一个线性组合不能提取更多的信息时,再考虑用第二个线性组合继续这个提取的过程,……,直到提取足够多的信息为止。这就是主成分分析的思想。
5
*
主成分分析的基本思想
主成分分析适用于原有变量之间存在较高程度相关的情况。
在主成分分析适用的场合,一般可以用较少的主成分得到较多的信息量,从而得到一个更低维的向量(即更少的变量)。通过主成分既可以降低数据“维数”又保留了原数据的大部分信息。
6
*
例:斯通关于国民经济的研究
一项十分著名的工作是美国的统计学家斯通(Stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据,得到了17个反映国民收入与支出的变量要素,例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。
在进行主成分分析后,%的精度,用三个新变量就取代了原17个变量。
7
*
主成分分析的几何意义
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
如果仅考虑X1或X2中的任何一个分量,那么包含在另一分量中的信息将会损失,因此,直接舍弃x1或x2分量不是“降维”的有效办法。
8
*
主成分分析的几何意义
平移、旋转坐标轴
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
对坐标轴进行旋转,n个点在F1轴上的方差达到最大,即在此方向上包含了有关n个样品的最大量信息。
因此,欲将二维空间的点投影到某个一维方向上,则选择F1轴方向能使信息的损失最小。
9
*
主成分分析的几何意义
第一主成分的效果与椭圆的形状有关。椭圆越扁平,n个点在F1轴上的方差就相对越大,在F2轴上的方差就相对越小,用第一主成分代替所有样品造成的信息损失就越小。
10
*