主成分分析与因子分析法.ppt

文档介绍：关于主成分分析与因子分析法
第一张，共三十七张，创建于2022年，星期一
主要内容
主成分分析法
因子分析法
附：主成分分析法与因子分析法的区别
第二张，共三十七张，创建于2022年，星期一
主成分分析法（Prin•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
假定语文成绩 （X1） 和数学成绩 （X2）分别为标准化后的分数，右图为其散点图，椭圆倾斜为45度。
第十八张，共三十七张，创建于2022年，星期一
如果将坐标轴 X1 和 X2 旋转45º ，那么点在新坐标系中的坐标（Y1,Y2）与原坐标（X1,X2）有如下的关系：
Y1和Y2均是X1 和 X2
的线性组合
第十九张，共三十七张，创建于2022年，星期一
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
在新坐标系中，可以发现：虽然散点图的形状没有改变，但新的随机变量 Y1 和 Y2 已经不再相关。而且大部分点沿 Y1 轴散开，在 Y1 轴方向的变异较大（即 Y1的方差较大） ，相对来说，在 Y2轴方向的变异较小（即 Y2 的方差较小） 。
第二十张，共三十七张，创建于2022年，星期一
在上面的例子中 Y1 和 Y2 就是原变量 X1和 X2的第一主成分和第二主成分。实际上第一主成分 Y1 就基本上反映了 X1 和X2 的主要信息，因为图中的各点在新坐标系中的 Y1 坐标基本上就代表了这些点的分布情况，因此可以选 Y1 为一个新的综合变量。当然如果再选 Y2也作为综合变量，那么 Y1 和 Y2 则反映了 X1 和 X2的全部信息。
第二十一张，共三十七张，创建于2022年，星期一
*
(二) 主成分分析的基本思想
假如对某一问题的研究涉及 p 个指标，记为X1，X2, …, Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, …, Xp)，设 X 的均值向量为，协方差矩阵为。设Y=(Y1, Y2 , … , Yp)为对 X 进行线性变换得到的合成随机向量，即

(1)
设i=(i1, i2 , …, ip), A=(1 , 2 ,…, p)，则有
(2)
第二十二张，共三十七张，创建于2022年，星期一
*
且

（3）
由是式(1)(2)能够看出，可以对原始变量进行任意的线性变换，不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi 应尽可能多地反映 p 个原始变量的信息，通常用方差来度量“信息”，Yi 的方差越大表示它所包含的信息越多。由式（3）可以看出将系数向量i 扩大任意倍数会使Yi 的方差无限增大，为了消除这种不确定性，增加约束条件：
第二十三张，共三十七张，创建于2022年，星期一
*
为了有效地反映原始变量的信息，Y的不同分量包含的信息不应重叠。综上所述，式（1）的线性变换需要满足下面的约束：
(1) 即 ，i =1, 2, …, p。
(2) Y1在满足约束 (1) 即的情况下，方差最大；Y2是在满足约束(1) ，且与Y1不相关的条件下，其方差达到大；……；Yp是在满足约束(1) ，且与Y1，Y2，…，Y p-1不相关的条件下，在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为原始变量的第一主成分、第二主成分、…、第 p 主成分，而且各成分方差在总方差中占的比重依次递减。在实际研究工作中，仅挑选前几个方差较大的主成分，以达到简化系统结构的目的。
第二十四张，共三十七张，创建于2022年，星期一
三、主成分分析的计算步骤
第二十五张，共三十七张，创建于2022年，星期一
(一)计算相关系数矩阵
(二)计算特征值与特征向量
(三)计算主成分贡献率及累计贡献率
(四)计算主成分载荷
第二十六张，共三十七张，创建于2022年，星期一
（一）计算相关系数矩阵


rij（i，j=1，2，…，p）为原变量xi与xj标准化后的相关系数， rij=rji，其计算公式为
（）
（）
第二十七张，共三十七张，创建于2022年，星期一
（二）计算特征值与特征向量
1、解特征