文档介绍：主成分分析
1
主成分分析
1 什么是主成分分析法
2 主成分分析的基本原理
3 主成分分析的方法
4 主成分分析的步骤
2
例:两个变量的教学系统___两门课程的学****成绩:
设课程x1与x2是两门有一定相关性的课程,如:数学与物理。设x1与x2分别为标准化后的分数, n名学生的学****成绩为:
(xi1,xi2) i=1~n
将这n组数据描在x1-x2平面上,如下图所示:
3
1,什么是主成分分析
主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。
在统计学中,主成分分析(ponents analysis,PCA)是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中,使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。
4
2,主成分分析法的基本原理
主成分分析法借助于一个正交变换,将其分量相关的原随机向量转化成其分量不相关的新随机向量,这在代数上表现为将原随机向量的协方差阵变换成对角形阵,在几何上表现为将原坐标系变换成新的正交坐标系,使之指向样本点散布最开的p 个正交方向,然后对多维变量系统进行降维处理,使之能以一个较高的精度转换成低维变量系统。
5
主成分分析是一种将彼此相关的p个变量x1,x2,…xp所具有的信息,满足以下两种条件:
(1)Zk 与Zk'不相关(k≠k',k、k'=1、2…m)。
(2)Z1,Z2,…Zm的方差逐次减小,即
Z1的方差>Z2的方差>…>Zm的方差的m个综合特征值Z1, Z2,… Zm(m<p)所表示的统计分析方法。在m个特征值中,我们称Zi(i=1—m)为第i主成分。
6
3,主成分分析方法
设p维空间的向量为:
即总体中的每一个样本有P个指标,其平均和方差为u,б。我们的任务是寻找m个综合指标Y1,Y2…Ym(m<p),要求这m个综合指标能充分反映原来P个指标的信息,而且彼此间应该互不相关。
7
设m个指标与P个指标间具有以下线性变换关系:
式中:
8
且应满足以下要求:
(1)yi与yj(i j, i,j=1,2,…q)相互独立;
(2)y1的方差>y2的方差>ym的方差。
称y1为第一主成分,y2为第二主成分,…ym为第m主成分。
9
假定某年级学生的物理成绩(X1)和数学成绩(X2)的相关系数ρ= 。那么随机向量X '= (X1 ,X2 ) 的方差—协方差矩阵为:
10