文档介绍：第8章主成分与因子分析
主成分分析与因子分析的目的在于降维,即在众多存在的相关性的变量中,找出少数几个综合性变量,来反映原来变量所反映的主要信息,使问题简化。
主要作用
能降低所研究的数据空间的维数;
可用于分析筛选回归变量,构造回归模型;
可用于综合评价;
可对变量进行分类
导入案例:如何对学生成绩进行综合评价
我国历来是采用原始分数报告学生的学****成绩,并作为选拔考试择优录取的重要依据。由于各科试题难度不同,学生各科成绩分布也不相同,因而用学生各科原始分数相加后的总分来反映学生个体在总体中的相对位置有较大的局限性。为了克服这种局限性,我国在1998年高考中开始实行用标准分录取新生。它是高考制度具体措施的一大改革。标准分是一种由原始分推导出来的相对地位量数,它是用来说明原始分在所属的那批分数中的相对位置的。但是截止到2007年,只有海南省还在使用标准分,其它省份都使用原始分录取新生。
主要内容
主成分分析
因子分析
主成分分析和因子分析的区别
用SPSS进行因子分析
§ 主成分分析
主成分分析的数学模型
(ponents)含义:
例:上衣尺寸主要包括领长、袖长、衣长、
号
领围、肩宽、臂围、胸围、腰围、臀围、袖宽等 14
型
个变量,显然它们是相关的,因此可以找出反映上衣特征的两个不相关的综合变量,就是上衣的号和型。
如:(男)180/100A 、 175/96A;(女)165/84A等
F1
* *
* *
* *
* *
:
儿童身高(X1)和体重(X2)两个变量之间的关系可以用散点图表示出来,。
显然,这两个变量之间存在线性关系。现在以直线P1为横坐标,以该轴的垂直线P2为纵坐标,建立一个新的平面直角坐标系,则所有观测点均在坐标轴P1周围(即沿该方向观测值方差最大),而在坐标轴P2方向上的波动很小,可以忽略。
这样,二维问题即可以降为一维问题,只取一个综合变量P1(主成分)即可。
X2
F2
*
* *
θ
X1
相当于在平面上做一个坐标变换,即按逆时针方向旋转角度θ,根据旋转变换公式,新旧坐标之间有如下关系
主成分就是P个原始变量的某种线性组合;从几何意义上看,这些线性组合正是由X1,X2,…,XP构成的坐标系经旋转而产生的新坐标系,新坐标系使之通过变差最大的方向(或者说具有最大的样本方差)。
:
假设观测 p 项变量(指标),记为X1,X2,…,Xp,取n件样品,原始数据资料阵为
指标1(X1)
指标2(X2)
指标p(Xp)
…
…
第1次观测值
第n次观测值
为找出主成分,寻求原变量X1,X2,…,Xp的线性组合Fi,其数学模型
模型可简写为
P=u1X1+u2X2+…+upXp =UTX
若令式中U=(u1,u2,…,up)T,
X=(X1,X2,…,XP)T
满足如下的条件:
(1) Pi和Pj不相关,即
(2) 主成分的方差依次递减,重要性依次递减,即
称Pi为第i主成分(i=1,2,…,p)。
(3) 总方差不变,即
(4) 每个主成分的系数平方和为1,即
(见板书)
为简化问题,通常提取q(q<p)个主成分,原则是这q个主成分能够反映出原来P个变量的绝大部分的方差。
几个概念:
1) 主成分的方差贡献率
第i个主成分的方差在全部方差中所占的比重:
称为第i个主成分的方差贡献率,反映了第i个主成分综合原来P个变量信息的能力。
2) 主成分的累积方差贡献率
前q个主成分共有多大的信息综合能力,用这q个主成分的方差和在全部方差中所占比重来描述,称为前q个主成分的~
即
即