文档介绍：多元统计分析
一、如何做主成分分析
二、如何做因子分析
三、如何做聚类分析
四、如何做判别分析
第十一章
主成分分析
一、基本思想
二、数学模型
三、模型的求解
四、主成分的性质
五、基本步骤与应用实例
因子分析
一、基本思想
二、数学模型
三、因子载荷的统计含义
四、因子的求解
五、因子得分
六、基本步骤与应用实例
聚类分析
一、基本思想
二、统计量
三、分类方法
四、基本步骤与应用实例
判别分析
一、基本思想
二、基本方法
三、判别效果的评价
四、基本步骤与应用实例
基本思想
主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。
二维空间
多维空间
数学模型
x1
y1
x2
y2
旋转变换的目的是为了使得n个样本点在y1轴方向上的离散程度最大,即y1的方差最大,变量y1代表了原始数据的绝大部分信息,在研究问题时,即使不考虑变量y2也损失不多的信息。
Y1与y2除起了浓缩作用外,还具有不相关性。
Y1称为第一主成分,y2称为第二主成分。
数学模型
如果系数uij满足;而且系数uij的确使yi、与yj(i≠j)相互无关,并使y1是x1,x2,…,xp的一切线性组合中方差最大者,y2是与y1不相关的x1,x2,…,xp的所有线性组合中方差最大者,……,yp是与y1,y2 ,…,yp-1都不相关的x1,x2,…,xp的所有线性组合中方差最大者,则称y1,y2,…,yp为原变量的第一,第二, …,第p主成分。
模型的求解
在应用主成分分析研究问题时,通常先将数据标准化,以消除量纲对结果的影响。标准化的常用公式为:
为了求出主成分,只需求样本协方差矩阵S或相关系数矩阵R的特征根和特征向量就可以。(可以证明,变量x1,x2,…,xp标准化以后,其协方差矩阵S与相关系数矩阵R相等。)
主成分的性质
性质1:第k个主成分yk的系数向量是第k个特征根λk所对应的标准化特征向量Uk。
性质2:第k个主成分的方差为第k个特征根λk,且任意两个主成分都是不相关的,也就是主成分y1,y2,…,yp的样本协方差矩阵是对角矩阵。
性质3:样本主成分的总方差等于原变量样本的总方差。
性质4:第k个样本主成分与第j个变量样本之间的相关系数为:
该相关系数又称为因子载荷量。
主成分个数的选取