文档介绍：主成分分析原理
第1页，本讲稿共56页
内 容
一、前 言
二、问题的提出
三、主成分分析
1. 二维数据的例子
2. PCA的几何意义
3. 均值和协方差、 特征值和特征向量
4. P•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
平移、旋转坐标轴
*
第17页，本讲稿共56页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
*
第18页，本讲稿共56页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
*
第19页，本讲稿共56页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
*
第20页，本讲稿共56页
. PCA: 进一步解释
椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。
*
第21页，本讲稿共56页
二维数据
*
第22页，本讲稿共56页
进一步解释PCA
当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。
但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。
如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。
椭圆（球）的长短轴相差得越大，降维也越有道理。
*
第23页，本讲稿共56页
进一步解释PCA(续)
对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看见罢了。
首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基本完成了。
注意，和二维情况类似，高维椭球的主轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合，叫做主成分(principal component)。
*
第24页，本讲稿共56页
正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有几个主成分。
选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。
*
第25页，本讲稿共56页
. 均值和协方差 特征值和特征向量
设有n个样本，每个样本观测p个指标（变量）：X1，X2，…，Xn, 得到原始数据矩阵：
*
第26页，本讲稿共56页
1. 样本均值
显然,样本均值是数据散列图的中心.
于是 p*n 矩阵的列B具有零样本均值,
称为平均偏差形式
M
*
第27页，本讲稿共56页
2. 样本协方差
中心
中心
协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量单位的影响.
注意：协方差
是对称矩阵且半正定
*
第28页，本讲稿共56页
特征值与特征向量
定义
Ａ为ｎ阶方阵，λ为数，
为ｎ维非零向量，
若
则