文档介绍：第五章主成分分析(principal component analysis)
1
主成分分析
主成分回归
本章内容
2
问题来源在处理多变量问题时，由于变量太多，
变量之间往往存在着一定的相关性，。。。
一种解决的思想：降低变量个数，即用少数综合变量
代替原来变量的信息，综合变量之间互不相关。
将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析或者主分量分析.
§1 主成分分析
一什么是主成分分析
3
是将原来p个指标线性组合,作为新的综合指标,分别记为F1,F2,…,而这些新的线性组合必须满足:
F1尽可能的反映原来指标的信息（经典的方法是用方差来表达信息，即选取使var(F1)最大的线性组合）称F1为第一主成分.
如果F1不足以代表原来p个指标的信息，再选取第二个线性组合即F2，同时要求F1已包含的信息不需要再出现在F2中（数学上表示为cov(F1, F2)=0）.
称F2为第二主成分.
二基本思想
依次类推，可构造出第三，第四个主成分…….
4
三数学模型
数学上的处理：
将原来p个指标看作p个随机变量：记X1，X2，…，Xp.
再寻求这p个变量的线性组合F1，F2，…Fk(k≤p）
5
满足
2. 主成分之间互不相关，即无重叠的信息。即
1. 主成分的方差依次递减，重要性依次递减，即
3. 每个主成分的系数平方和为1。即
6
四几何解释
P个变量的线性组合从几何上看是把由X1，…，Xp
构成的坐标系经旋转产生的新坐标系，而新坐标轴的方向具有最大的方差.
7
举例说明：P=2，有n个样本点.
在变量xl和x2 所确定的二维平面中，n个样本点的散布情况如椭圆状（见图）.
由图可以看出n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差表示。
如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。
8
如果取椭圆长轴和短轴方向取为Fl和F2，即相当于平面上的坐标变换：即将xl 轴和x2轴先平移，再按逆时针方向旋转角度，则新老坐标有以下关系：
9
从图上可看出：
n个样本点的波动大部分可以归结为在Fl方向上的波动，即Fl的方差最大。
变量Fl代表了原始数据的绝大部分信息，F2方向的波动不大.
Fl，F2具有不相关的性质.
如果椭圆是相当扁平的（x1，x2相关性越强），可以只考虑Fl方向上的波动，F2可以忽略不计.
10