文档介绍：第18章主成分分析和因子分析
主成分分析
ponent analysis, PCA
一、数据降维
我们经常会遇到有很多变量的数据。
例1,在某次儿童生长发育调查中测量了许多指标,其中有关心脏的指标为心脏横径、纵径、宽径、胸腔横径以及心脏面积。
这些数据的共同特点是变量很多,在如此多的变量之中,有很多是相关的(变量的共线性问题)。
我们希望能够找出它们的少数“代表”来对它们进行描述(数据降维)。
儿童生长发育的数据点是5维的;也就是说,每个观测值是5维空间中的一个点。我们希望把5维空间用低维空间表示。
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
先假定只有二维,即只有两个变量,它们由横坐标和纵坐标所代表;因此每个观测值都有相应于这两个坐标轴的两个坐标值,即为2维空间的一个点;如果两个变量相关这些数据形成一个椭圆形状的点阵。
数据的信息
数据的信息
在统计学上数据的信息实际上是由数据的变异(如方差)所表示。这个椭圆有一个长轴和一个短轴。在短轴方向上,数据变化很少,在长轴的方向数据的变异明显较大;
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
如果沿椭圆的长短轴方向重新建立一个坐标系,新产生的两个变量和原始变量存在数学换算关系,但彼此不再相关;
新变量的信息分布明显不同,长轴代表了大部分的数据信息,而短轴代表的信息则可以忽略;
这样,由二维到一维的降维就完成了
如果这个椭圆越扁,则降维效果越好
主成分
首先把高维椭球的主轴找出来,再用代表大多数数据信息的最长的几个轴作为新变量;这样,主成分分析就基本完成了。
和二维情况类似,高维椭球的主轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合(用原来变量以方程的形式表示),叫做主成分。
对于多维变量的情况和二维类似,也有高维的椭球,不过我们无法直观地看见。
二、主成分分析的数学模型
假设所讨论的实际问题中,有p个指标,也就是p个随机变量,记为X1, X2, …, Xp
主成分分析就是要把这p个指标的问题,转变为讨论p个指标的线性组合的问题
这些新的指标y1,y2,…,yk(k≤p),按照保留主要信息量的原则充分反映原指标的信息,并且相互独立。
用少数几个综合指标代替原来的多个原指标完成数据的降维。主成分分析通常的做法是寻求原指标的线性组合yi。
主成分的系数aij满足如下的条件:
主成分之间相互独立,即无重叠的信息。即
主成分的方差依次递减,重要性依次递减,即
每个主成分的系数平方和为1。即
三、特征根(Eigenvalue)
设X的协方差阵为
回顾:协方差
对于p个随机变量X = (x1,…, xp),
Xp的方差