第六讲主成分分析.ppt

文档介绍：第六讲主成分分析
*
第1页，本讲稿共143页
主要内容
§1 主成分分析的基本思想
§2 数学模型与几何解释
§3 主成分的推导
§4 主成分的性质
§5 主成分分析的步骤
§6 主成分分析的应用
第2页，
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
图中显示：
n个样点无论是沿着X1轴方向或X2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量Xl 的方差和X2 的方差定量地表示
如果只考虑Xl和X2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。
图2 散点图
第13页，本讲稿共143页
平移、旋转坐标轴
将 X1 轴和 X2 轴先平移，再同时按逆时针方向旋转  角度，得到新坐标轴 Fl 和 F2 。Fl和F2是两个新变量。n个观测值在新坐标系下的分布图如下所示
可以看出：
样点的F1坐标变化幅度很大，或者说F1的方差较大；而F2的变化幅度相对较小，或者说F2的方差较小。可以说，变量(xl,x2)的信息大部分集中在新变量F1，而小部分集中在新变量F2上。称F1是(xl,x2)的第一主成分，F2是(x1,x2)的第二主成分
在一定条件下，可以舍掉F2，只用第一主成分F1度量原来的全部样品，从而维数由2降为l
与此类似，3维变量可以降为2维或1维，…
第14页，本讲稿共143页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
第15页，本讲稿共143页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
第16页，本讲稿共143页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
第17页，本讲稿共143页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
第18页，本讲稿共143页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
第19页，本讲稿共143页
旋转变换的目的
使得n个样点在Fl轴方向上的离散程度最大，即Fl的方差最大
由于变量Fl代表了原始数据的绝大部分信息，在问题的研究中，即使不考虑变量F2也无损大局
旋转变换的作用
经过旋转变换，原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用
Fl，F2具有不相关的性质，这使得在研究复杂的问题时避免了信息重叠所带来的虚假性
第20页，本讲稿共143页
旋转变换的公式：
平移、旋转坐标轴
即Fl，F2是原变量x1和x2的线性组合，用矩阵表示是
U为旋转变换矩阵，它是正交矩阵，即有
第21页，本讲稿共143页
§3 主成分的推导
一、线性代数的两个结论
1、若A是p阶实对称阵，则一定可以找到正交阵U，使
其中 i, i = 1,2, ... , p 是A的特征根。
◆
第22页，本讲稿共143页
2、若上述矩阵A的特征根所对应的单位特征向量为u1,…,up
由于实对称