文档介绍：第五章主成分分析与因子分析
因子分析模型与应用
1. 因子分析模型
设p维可观测的随机向量X = (X1,...,Xp)'(假定Xi为标准化变量,即E(Xi) = 0,Var(Xi) = 1,i = 1,2,…,p)表示为
或 X = AF + ε
其中F1、F2、…、Fm称为公共因子,简称因子,是不可观测的变量;待估的系数阵A称为因子载荷阵,aij(i = 1,2,…,p;j = 1,2,…,m)称为第i个变量在第j个因子上的载荷(简称为因子载荷);
ε称为特殊因子,是不能被前m个公共因子包含的部分。并且满足:cov(F,ε) = 0,即F,ε不相关;
D(F) = Im,即F1、F2、…、Fm互不相关,方差为1;D(ε) = diag(12,22,…,p2),即ε1、ε2、…、εp互不相关,方差不一定相等,εi~N(0,i2)。
因子分析的目的就是通过模型X = AF + ε以F代替X,由于m < p,从而达到降维的愿望。
2. 因子分析模型中的几个统计特征
(1) 因子载荷aij的统计意义
由Xi = ai1F1 +…+ aimFm + εi,两边同乘以Fj
E(XiFj)=ai1E(F1Fj)+…+aijE(FjFj)+…+aimE(FmFj)+E(εiFj)
从而有ρij = E(XiFj) = aij
即载荷矩阵中第i行,第j列的元素aij是第i个变量与第j个公共因子的相关系数,反映了第i个变量与第j个公共因子的相关程度。在这种意义上公共因子解释了观测变量间的相关性。
(2) 变量共同度的统计意义
因子载荷矩阵第i行的元素平方和:
称为变量Xi的共同度(i = 1,2,…,p)。
对Xi = ai1F1 +…+ aimFm + εi两边求方差:
显然,若因子方差hi2大,剩余方差i2必小。而hi2大就表明Xi对公因子的共同依赖程度大。可见hi2反映了变量Xi对公共因子F的依赖程度,故称hi2为变量Xi的共同度。
1 因子载荷矩阵的估计
给定p个相关变量X1,...,Xp的观测数据阵X,由X = AF + ε易推出
∑= AA' + D
其中∑= D(X)为X的协方差阵,A = (aij)为p m的因子载荷阵,D = diag(12,22,…,p2)为p阶对角阵。
由p个相关变量的观测数据可得到协差阵的估计,记为S。为了建立因子模型,首先要估计因子载荷aij和特殊方差i2。常用的参数估计方法有以下三种:主成分法,主因子法和极大似然法。
因子载荷矩阵的估计方法
(1) 主成分法
设样本协方差阵S的特征值为λ1≥λ2≥…≥λp≥0,u1,u2,…,up,为对应的标准化特征向量,当最后p–m个特征值较小时,S可近似地分解为:
其中为pm阵,
,即得因子模型的一个解。载荷阵A中的第j列和X的第j个主成分的系数相差一个倍数(j = 1,…,m),故这个解称为主成分解。
(2)主因子法
主因子方法是对主成分方法的修正,设R = AA' + D,则R* = R – D = AA'称为约相关矩阵,若已知特殊因子方差的初始估计,也就是已知变量共同度的估计:
则R*对角线上的元素是,而不是1。即: