文档介绍：主成分分析定义
主成分分析:将原来较多的指标简化为少数几个新的综合指标的多元统计方法。
主成分:由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分,第二主成分等等。
满足如下的条件:
1、每个主成分的系数平方和为1。即
2、主成分之间相互独立,即无重叠的信息。即
3、主成分的方差依次递减,重要性依次递减,即
F1、F2….Fp分别称为原变量的第一、第二….第p个主成分。
例1:设的协方差矩阵为:
从协方差矩阵出发,求解主成分.
(1)求协方差矩阵的特征根
依据求解.
(2)求特征根对应的特征向量
(3)主成分:
(4)各主成分的贡献率及累计贡献率:
第一主成分贡献率:
第二主成分贡献率:
第三主成分贡献率:
第一和第二主成分的累计贡献率:
%.
样本主成分的性质:
1、第K个主成分yk的系数向量是第K个特征根λk所对应的标准化特征向量。
2、第K个主成分的方差为第K个特征根λk,且任意两个主成分都是不相关的,也就是y1,y2,…,yp的样本协方差矩阵是对角矩阵
3、样本主成分的总方差等于原变量样本的总方差,为p
4、第K个样本主成分与第j个变量样本之间的相关系数为:(因子载荷量)
主成分个数的选取
%以上
数据标准化情况下:
描述特征值的贡献
因子分析的基本理论
因子分析是主成分分析的推广,也是利用降维的思想,由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发,把一些具有错综复杂关系的多个变量归结为少数几个综合因子的一种多元统计分析
因子分析的基本思想:
把每个研究变量分解为几个影响因素变量,将每个原始变量分解成两部分因素,一部分是由所有变量共同具有的少数几个公共因子组成的,另一部分是每个变量独自具有的因素,即特殊因子。
主成分分析分析与因子分析的联系和差异:
因子分析是主成分分析的推广,是主成分分析的逆问题。主成分分析是将原始变量加以综合、归纳;因子分析是将原始变量加以分解、演绎。
(1)主成分分析仅仅是变量变换,而因子分析需要构造因子模型。
(2)主成分分析:原始变量的线性组合表示新的综合变量,即主成分; 因子分析:用潜在的假想变量(公共因子)和随机影响变量(特殊因子)的线性组合表示原始变量。用假设的公因子来“解释”相关矩阵内部的依赖关系。
(3)主成分分析中主成分个数和变量个数相同,它是将一组具有相关关系的变量变换为一组互不相关的变量,在解决实际问题时,一般取前m个主成分;因子分析的目的是用尽可能少的公因子,以便构造一个结构简单的因子模型。
因子分析模型:
设个变量,如果表示为
称为公共因子,是不可观测的变量,他们的系数称为因子载荷。是特殊因子,是不能被前m个公共因子包含的部分。其中:
(1) 相互独立即不相关;
(2)
即互不相关,方差为1。
(3)
即互不相关,方差不一定相等,。
满足以上条件的,称为正交因子模型.
如果(2)不成立,即各公共因子之间不独立,则因子分析模型为斜交因子模型.
公因子F1
公因子F2
共同度hi
特殊因子δ