文档介绍：第十二章因子分析(贵州大学杨虎统计)引出因子分析的定义:作个比喻,对面来了一群女生,我们一眼就能够分辨出孰美孰丑,这是判别分析;并且我们的脑海中会迅速的将这群女生分为两类;美的一类,丑的一类,这是聚类分析。我们之所以认为某个女孩漂亮,是因为她具有漂亮女孩所具有的一些共同点,比如漂亮的脸蛋,高挑的身材,白皙的皮肤,等等。其实这种从研究对象中寻找公共因子的办法就是因子分析(FactorAnalysis)。因子分析也是利用降维的思想,把每一个原始变量分解成两部分,一部分是少数几个公共因子的线性组合,另一部分是该变量所独有的特殊因子,其中公共因子和特殊因子都是不可观测的隐变量,我们需要对公共因子作出具有实际意义的合理解释。因子分析的思想源于1904年查尔斯,斯皮曼(charlesspearman)对学生考试成绩的研究,目前因子分析已经在很多领域得到广泛应用。本章主要内容包括:因子分析的理论简介,因子分析的matlab实现,因子分析具体案例。,相关系数矩阵为。因子分析的一般模型为()其中,为m个公共因子,是变量所独有的特殊因子他们都是不可观测的隐变量。称为变量在公共公共因子上的截荷,它反映了公共因子对变量的重要程度,对解释公共因子具有重要的作用。可以看出模型()与多重线性回归模型有些相似,但它与多重线性回归模型有着本质的区别,因为公共因子和特殊因子都是不可观测的隐变量。式()还可以写成矩阵形式()其中,称为因子载荷矩阵,为公共因子向量,为特殊因子向量。通常对模型()和()作如下假定:公共因子不相关,且具有单位方差,即,;特殊因子彼此不相关,即,;公共因子和特殊因子彼此不相关,即。,的分解,对式()两边求协方差矩阵,并注意到模型的假定,可得若x的各分量已经标准化,则模型不受单位影响对x做换变换其中则模型()可以变形为:这仍是一个因子模型,其中,,。3因子载荷阵不唯一设T为一个正交矩阵,则有:令,则是由因子经正交旋转后得到的新因子,是相应的因子载荷阵。当公共因子不好解释时,就可以通过因子旋转得到新的因子和载荷阵,使得新的因子和载荷阵,使得新因子具有更好的实际意义,便于解释。因子载荷矩阵是原始变量和公共因子的协方差矩阵根据模型假设及协方差的性质可得若的各分量已经标准化,则:5共性方差与特殊方差求式()中变量的方差可得:()令,则反映了公共因子对变量的影响,可看成公共因子对变量的方差贡献,称为共性方差。特殊因子的方差则反映了特殊因子对变量的方差贡献,称为特殊方差。每个原始变量的方差都被分成了共性方差和特殊方差两部分。若的各分量已经标准化,则()6公共因子重要性的度量将式()关于求和可得:令,则反映了第个公共因子对个原始变量总方差的贡献,他是衡量公共因子重要性的一个度量,值越大,说明第个公共因子越重要,称为第个公共因子的贡献率,若的各分量已经标准化,则的贡献率为。因子载荷阵和特殊方差的估计求解因子模型的关键是估计因子载荷阵和特殊方差阵,常用的估计方法有主成分法,主因子法和最大似然法。主成分法设为取自总体的样本,记样本协方差矩阵和样本相关系数矩阵分别为其中为样本均值。将作为的估计作为的估计。从出发求解主成分,设为的个特征值为相应的正交单位特征向量。根据矩阵的谱分解,可作如下分解()当前个主成分的累积贡献率达到一个比较高的水平(例如85%以上)时,可由式()的前项给出载荷的估计,由后项给出特殊方差矩阵的估计,即()其中,。由于是对角阵,所以式()的第一行只能是约等式,为了保证和的对角线元素相等,可得。上面基于主成分分析求出的和是因子模型的一个解,称为主成分解。的第列元素平方和等于,它反映了第个公共因子对个原始变量总方差的贡献。若需考虑更多(多于个)公共因子,则只需考虑新的公共因子的载荷的估计,前面个公共因子的载荷阵不变。若原始变量的单位和数量级别差距很大时,可以从样本相关系数矩阵出发进行求解,此时记,称为残差矩阵,的对角元素全为0,其余元素满足上式的证明略。它说明了当后个特征值平方和较小,即前个公共因子对个原始变量总方差的贡献比较大时,因子模型的拟合效果是比较好的。,假定原始变量均已作标准变换。则的相关系数矩阵满足称为约相关系数矩阵(reducedcorrelationmatrix)。的对角元素为,并且也是一个非负定矩阵。若先给出特殊方差矩阵的一个初始估计,则可得到约相关矩阵的一个估计下面利用主成分法,设的前个特征值为,相应的正交单位特征向量为。令;称和为因子模型的主因子解。可以采用迭代算法,把此