文档介绍：回归分析与因子分析之比较
刘婷玉数学与统计学院06级
【摘要】回归分析与因子分析是数理统计中常用的两种数据处理方法，本文对他们进行比较，分析了两种方法的区别与联系，各自的使用和适用范围，对教学质量的提高及在实际中对于有效选择此两种化的各个因素,多元
线性回归是研究一个因变量(Y)和多个自变量(Xi)之间数量上相互依存的线性关系。利用回归分析可以进行因素分析、调整混杂因素和统计预测。
因子分析是用于研究个体测量指标的协方差（或相关）结构的探索性数据分析的多元技术。它找出若干可以解释可观测指标之间的变差或者联系的潜变量从而简化高维数据，并对相似指标进行分组及检测多重共线性，将高维数据在低维空间中图示以利于直观考察数据的分布情况及检测异常值。目标是通过减少变量的个数来了解数据的结构，在某种意义上可以取代原始数据，而且通过图示和多元推断技术更容易进行研究。它就是用少数几个有意义因子来描述多个指标或因素之间的联系，与此同时，又能保存住原有数据结构所提供的大部分信息，这样就可以找出潜在的特征。其目的为化简数据、浓缩信息、探讨内在结构，也就是说将分散在多个变量中的同类信息集中起来、提纯，从而便于分析、解释和利用。
同样是因变量和因子之间的关系，但是回归分析却能得出确切的数值关系，而且通常是定量的（不过对定性因素可以采用虚拟变数的处理方法）。但因子分析一般适用于定性的，不可观测的数据。不过回归分析的关系不精简明了，而且确定的因子也是根据人为经验事先定好的，不如因子分析的全面，可能还得做逐步回归等才能剔除或增加变量。
3、适用原则
首先，回归分析和因子分析使用的数据不一样。回归分析同时需要因子和因变量的数据，数据结构为因变量和因子对应的顺序数据，即｛ Y,X|i = 1,2, ,n｝。而因子分析只需要在不同情况下对应的因变量 i i
的值，无需知道 X 的确切数值，只要根据调的数值就行了，也即这种方法可以揭示因子内部的关系。
其次，样本容量的要求也不同。回归分析最小样本容量 n上 k+1。对B =(Xx)tXY，有(x'X)-1 存在 ol X'X I 工 0 o X'X 为 k+1 阶的满秩阵，R(AB) W min(R(A), R(B)), R(X) 2 k+1,因此，必须有n2k+1o根据经验，有①n 2 30或者n 2 3(k+1)才能满足模型估计的基本要求。②n 2 3(k+1)时，t分布才稳定，检验才较为有效。根据Gromuch(1983)的观点，因子分析的样本量要求如下
:一般原则是要求样本数目至少是变量个数的五倍，能有一比十的比例是较可被接受的，有些研究建议观察值个数为变量个数的二十倍 ;总样本最好应有100个或以上的观察值，通常不要少于50个观察值。
最后，模型假设也有不同之处：
在回归分析中，有如下假设：
解释变量 Xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。
随机误差项具有0均值和同方差。
随机误差项不存在序列相关关系。
随机误差项与解释变量之间不相关。
随机误差项服从0均值、同方差的正态分布。
在因子分析中，假定：
公共因子的均数为0，方差为1。
特殊因子的均数为0,方差为6i,且特殊因子互不相关。
公共因子与特殊因子相互独立。
由比较可知,两种分析方法在两类因子的相关性上有相似之处, 差别主要在于回归分析中的随机误差项要求服从0 均值、同方差的正态分布。
4、模型的解
R 回归分析应用最小二乘估计,其矩阵表示如下：
ij
Y = XB Y = XB + U U 〜N (0。2)
Q 二工幺2 丄(—y ) E = Y - Y = Y - XB
i i i
i=1 i=1
=e'e = (Y - XB)(Y - XB)
Q = (Y'-B 'X ')(Y - XB)
=(YY - Y XB - B 'XY + B 'X XB) 为什么 YXB = B 'XY ?
=Y Y - 2 B 'XY + B 'XXB
dQ 八
Q = 0 - XY + XXB = 0
dB
B = ( XX )-1 XY & 2 = _^L_
n - k -1
它具有①线性(估计量都是被解释变量观测值的线性组合)②无偏性(估计量的数学期望=被估计的真值)③有效性(估计量的方差是所有线性无偏估计中最小的)
而因子分析有若干种方法
① 主成分法( principal component factor)
a = ,'x__l ,i — 1,2,…，p; j = 1,2,…，m
ij j ji
每一个公共因子的载荷系数之平方和等于对应的特征根,即该
p
公共因子