文档介绍：多元统计分析(2)
题目: 多元统计分析知识点
研究生
专业
指导教师
完成日期 2013年 12月
目录
第七章主成分分析 2
§ 2
2
3
§ 3
5
§ 6
6
10
§ 11
§ 12
第八章因子分析 17
§ 17
§ 19
、因子载荷和变量共同度的统计意义 20
无妨假定 20
21
3公共因子的方差贡献的统计意义 22
§() 22
(1)对角矩阵方法 22
(2)主成分方法 24
§ 25
§ 32
第七章主成分分析
§
——将多种指标综合成少数几个综合指标的统计方法。
地震,②物价指数,③制作服装,④投资组合。

主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标),重新组合成一组新的相互无关的综合指标来代替原来指标。通常数学上的处理就是原来指标的线性组合,作为新的综合指标,但是这种新的指标,如果不加限制,可以有很多,因此在原来众多指标的单位球面上来求综合指标。如果选取的第一个线性组合指标(新的综合指标)记为,希望尽可能多的反映原来p个指标的“信息”,这里的“信息”用方差来描述,越大,表示包含的信息越多,因此在所有的线性组合中所选取的应该是方差最大的,将称为第一主成分,再考虑第二主成分,并要求,…。且要求

§
数学模型
设是随机向量(p个指标)的n个样本,记原始数据资料矩阵
,
其中
随机向量的p个线性组合
简单写成
上述方程组要求:
且系数由下列原则决定:
(1)与不相关;()
(2)是的一切线性组合中方差最大的,是与不相关的的一切线性组合中方差最大的,…
说明与正交,下一节将会看到每个方程式中的系数向量是的协方差矩阵特征值所对应的单位特征向量
两点说明:
一、数学模型中作线性组合基于:①数学上容易处理;②实践中效果很好。
二、要求,不然,无意义了。 F2 X2
(画图说明)
(X1, X2)
F1
X1O
用矢量来解释:
即
显然U是正交矩阵,易见(见书P158)
§
定理一若A是阶实对称矩阵,则一定可以找到正交矩阵U,使得
其中是A的特征根,且
定理二若上述实对称矩阵A的特征根所对应的单位特征向量为,令
且是根据施密特正交化过程得到的单位特征向量,即两两正交,则有

设
要求的是
设半正定矩阵p个特征根依从大到小的次序为,属于的一个单位特征向量为
记
由定理一和定理二可知,且
称此式为协方差矩阵谱分解式。
因此有
因此,当时,使得
达到最大值,即有
同理有
,且
一般有,而且

说明,是两两互不相关的随机变量,(注意:是根据施密特正交化过程得到的两两正交的单位特征向量),称
分别为第一、第二、…、第p主成分,易见个主成分的方差分别为
第一主成分的方差最大,…,在实际问题中,一般不取p个主成分,而是根据累计贡献率的大小取前k个主成分。
定义称为第一主成分的贡献率,为第i主成分的贡献率(i=1,2,…,p),称为前两个主成分的贡献率,为前k个主成分的贡献率。
若
表明前k个主成分基本包含了全部观测指标的信息,这样既减少了变量个数,又便于对实际问题的分析和研究。
若协方差矩阵,可用样本协方差矩阵S估计。设原始资料矩阵为
,
而样本相关系数矩阵
若标准化后,则
实际应用时,往往指标的量纲不同,所以计算前,为消除量纲的影响,而将原始数据标准化,这样和相同。与只差一个常数因子,特征根相差n倍,单位特征向量不变,不影响求主成分,因此不妨取。