文档介绍：第10章主成分分析与因子分析
Outline
第一节主成分分析
第二节因素分析
第三节实例分析
主成分分析和因子分析 ponent Analysis & Factor Analysis
在研究实际问题时,往往需要收集多个变量。但这样会使多个变量间存在较强的相关关系,即这些变量间存在较多的信息重复,直接利用它们进行分析,不但模型复杂,还会因为变量间存在多重共线性而引起较大的误差
为能够充分利用数据,通常希望用较少的新变量代替原来较多的旧变量,同时要求这些新变量尽可能反映原变量的信息
主成分分析和因子分子正是解决这类问题的有效方法。它们能够提取信息,使变量简化降维,从而使问题更加简单直观
第一节主成分分析
一、主成分分析的基本原理
二、主分量的导出
什么是主成分分析?
2008年8月
主成分的概念由Karl Pearson在1901年提出
考察多个变量间相关性一种多元统计方法
ponent来解释多个变量间的内部结构。即从原始变量中导出少数几个主分量,使它们尽可能多地保留原始变量的信息,且彼此间互不相关
主成分分析的目的:数据的压缩;数据的解释
常被用来寻找判断事物或现象的综合指标,并对综合指标所包含的信息进行适当的解释
图示
每个变量都有一个坐标轴,所以有几个变量就有几主轴。首先把椭球的各个主轴都找出来,再用代表大多数数据信息的最长的几个轴作为新变量,这样,降维过程也就完成了。找出的这些新变量是原来变量的线性组合,叫做主成分。
主成分的选择标准
选择标准是什么?
被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分。在统计上,主成分所代表的原始变量的信息用其方差来表示。因此,所选择的第一个主成分是所有主成分中的方差最大者,即Var(yi)最大。如果第一个主成分不足以代表原来的个变量,在考虑选择第二个主成分,依次类推。这些主成分互不相关,且方差递减。
—根据主成分贡献率
一般来说,主成分的累计方差贡献率达到80%以上的前几个主成分,都可以选作最后的主成分。
-根据特征根的大小
一般情况下,当特征根小于1时,就不再选作主成分了,因为该主成分的解释力度还不如直接用原始变量解的释力度大。
选择主成分的数量
究竟选择几个主成分才合适呢?
一般要求所选主成分的方差总和占全部方差的80%以上就可以了。当然,这只是一个大体标准,具体选择几个要看实际情况。如果原来的变量之间的相关程度高,降维的效果就会好一些,所选的主成分就会少一些,如果原来的变量之间本身就不怎么相关,降维的效果自然就不好。
主成分分析的步骤
对原来的p个指标进行标准化,以消除变量在水平和量纲上的影响
根据标准化后的数据矩阵求出相关系数矩阵
求出协方差矩阵的特征根和特征向量
确定主成分,并对各主成分所包含的信息给予适当的解释