文档介绍：主成分分析数学建模
第1页，本讲稿共93页
一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、转坐标轴
第14页，本讲稿共93页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
第15页，本讲稿共93页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
第16页，本讲稿共93页
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
主成分分析的几何解释
平移、旋转坐标轴
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
第17页，本讲稿共93页
上面的四张图中，哪一种有更高的精度？原始变量的信息损失最少？
第18页，本讲稿共93页
旋转变换的目的是为了使得n个样品点在Fl轴方向上的离 散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。
第19页，本讲稿共93页
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。
第20页，本讲稿共93页
§3 主成分的推导
一、线性代数的结论
若A是p阶实对称阵，其中i(i=1,2,┅,p)是A的特征根。即有ui ，使
Ui是正交的特征向量。
第21页，本讲稿共93页
则一定可以找到正交阵U，使
第22页，本讲稿共93页
上述矩阵的特征根所对应的单位特征向量为
实对称阵A属于不同特征根所对应的特征向量是正交的，即有
则U为
第23页，本讲稿共93页
（一） 第一主成分
设X的协方差阵为
二、主成分的推导
第24页，本讲稿共93页
由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得
其中1， 2，…， p为Σx的特征根，不妨假设1 2 … p 。而U恰好是由特征根相对应的特征（列）向量所组成的正交阵。
第25页，本讲稿共93页
下面我们来看，是否由U的第一列元素所构成为原始
变量的线性组合是否有最大的方差。
第26页，本讲稿共93页
设有P维正交向量
第27页，本讲稿共93页
第28页，本讲稿共93页
当且仅当a1 =u1时，即 时，有最大的方差1。因为
第一主成分的信息不够，则需要寻找第二主成分。
第29页，本讲稿共93页
（二） 第二主成分
在约束条件 和 下，寻找第二主成分。
因为
则，对p维向量 ，有
第30页，本讲稿共93页
所以如果取线性变换，
则 的方差次大。
第31页，本讲稿共93页
（三） 第三主成分
在约束条件
因为
则，对p维向量 ，有
寻找第三主成分
第32页，本讲稿共93页
所以如果取线性变换，
则 的方差次大。
第33页，本讲稿共93页
思考题：第k(k≤p)个特征根约为0，说明什么？
类推
说明第k到第p个特征根所对应的特征向量构成的线性组合等于常数，因为其方差为零。