文档介绍：二、主成分分析与因子分析的联系与区别两种方法的出发点都是变量的相关系数矩阵,在损失较少信息的前提下,把多个变量(这些变量之间要求存在较强的相关性, 以保证能从原始变量中提取主成分) 综合成少数几个综合变量来研究总体各方面信息的多元统计方法, 且这少数几个综合变量所代表的信息不能重叠, 即变量间不相关。主要区别: 1. 主成分分析是通过变量变换把注意力集中在具有较大变差的那些主成分上, 而舍弃那些变差小的主成分;因子分析是因子模型把注意力集中在少数不可观测的潜在变量(即公共因子) 上,而舍弃特殊因子。 2. 主成分分析是将主成分表示为原观测变量的线性组合, (1) 主成分的个数 i= 原变量的个数 p ,其中 j=1,2, …,p, 是相关矩阵的特征值所对应的特征向量矩阵中的元素, 是原始变量的标准化数据,均值为 0 ,方差为 1 。其实质是 p 维空间的坐标变换,不改变原始数据的结构。而因子分析则是对原观测变量分解成公共因子和特殊因子两部分。因子模型如式( 2 ), (2) 其中 i=1,2, …,p, m 是因子分析过程中的初始因子载荷矩阵中的元素, 是第 j 个公共因子, 是第 i 个原观测变量的特殊因子。且此处的与的均值都为 0 ,方差都为 1。 3. 主成分的各系数,是唯一确定的、正交的。不可以对系数矩阵进行任何的旋转,且系数大小并不代表原变量与主成分的相关程度; 而因子模型的系数矩阵是不唯一的、可以进行旋转的,且该矩阵表明了原变量和公共因子的相关程度。 4. 主成分分析,可以通过可观测的原变量 X 直接求得主成分 Y ,并具有可逆性;因子分析中的载荷矩阵是不可逆的,只能通过可观测的原变量去估计不可观测的公共因子,即公共因子得分的估计值等于因子得分系数矩阵与原观测变量标准化后的矩阵相乘的结果。还有, 主成分分析不可以像因子分析那样进行因子旋转处理。 5. 综合排名。主成分分析一般依据第一主成分的得分排名, 若第一主成分不能完全代替原始变量,则需要继续选择第二个主成分、第三个等等,此时综合得分=∑(各主成分得分× 各主成分所对应的方差贡献率) , 主成分得分是将原始变量的标准化值,代入主成分表达式中计算得到; 而因子分析的综合得分=∑( 各因子得分× 各因子所对应的方差贡献率) ÷∑各因子的方差贡献率,因子得分是将原始变量的标准化值,代入因子得分函数中计算得到。区别中存联系,联系中显区别由于上文提到主成分可表示为原观测变量的线性组合,其系数为原始变量相关矩阵的特征值所对应的特