文档介绍：1本章教学目标:l掌握回归主成分分析的基本概念、基本原理及其分析应用的基本步骤;l能应用主成分分析方法解决实际问题第10章主成分分析2本章主要内容:§ 主成分分析的概念§ 主成分计算§ 样本主成分§ 主成分的选取§ 案例分析3在实证数据分析研究中,人们为了尽可能完整地搜集信息,对于每个样本往往要观测它的很多项指标,少者四、五项,多则几十项,这些指标之间通常不是相互独立而是相关的。因此,从统计分析或推断的角度来说,人们总是希望能把大量的原始指标组合成较少的几个综合指标,从而使分析简化。例如,一个人的身材需要用好多项指标才能完整地描述,诸如身高、臂长、腿长、肩宽、胸围、腰围、臀围等,但人们购买衣服时一般只用长度和肥瘦两个指标就够了,这里长度和肥瘦就是描述人体形状的多项指标组合而成的两个综合指标。§ 主成分的概念4假设观测指标共有p个,分别用x1, x2,…,xp,表示,将这些指标综合为一个指标的方法显然有很多,但最简单的方法是将这些指标用线性组合的方法将它们组合起来。因此,可设定其综合指标的形式为这些指标的线性组合,即我们希望构造少数几个这样的综合指标,并且这几个综合指标之间是不相关的。其中反映原始观测指标的变动程度最大的综合指标最重要,我们称其为原始观测指标的第一主成分;而反映原始观测指标变动程度次大的综合指标,称为原始观测指标的第二主成分;反映原始观测指标变动程度第三大的综合指标,称为第三主成分;……,T1 1 2 2p py a x ax a x a x? ?????5§ 主成分计算设p个指标(随机变量)是p维随机变量,其协方差矩阵为式中,协方差限制求的最大值。实际上,这就是求的的值11 12 121 22 21 2......COV( )...ppp pp p pp? ? ?? ? ?? ? ??? ?? ?? ?? ?? ?? ?? ?? ?ΣX? ? ???[ ( )][ ( )]ij i i j jE E X E?? ? ?X X XT(1) (1)1?a aT(1)( )a XCOV(1)T (1)(1)T (1)0maxa?a aa a?6根据线性代数的理论,我们知道这就是矩阵的最大特征根,并且就是相应的特征向量。就为随机向量X的第一主成分。X的第二主成分不应该再重复反映第一主成分已经反映的内容,所以求第二主成分时,除了有类似于第一主成分的约束条件外,还必须加上第二主成分与第一主成分不相关这一条件,即要使也就是要使即第二主成分的特征向量必须于第一主成分的特征向量正交。Σ1?(1)aT(1)a X(2)T (1)T (2) (1)( , ) 0? ?a X a X aΣaCOV(2)T (1)T( , ) 0?a X a XCOV(2) (1)0?a a7事实上,由于协方差矩阵Σ为非负定矩阵,故有p个非负特征根,从而可求出p个特征向量将每一个特征向量作为一个主成分的系数向量,就可得出p个主成分。若记p个主成分组成的主成分向量为特征向量组成的矩阵为A ,即则可写成主成分向量的表达形式为:(1) (2) ( ), ,pa a a?T1 2( , , , )pY Y Y?Y?(1) (2) ( ), ,pa a a?(1) (2) ( )( , , , )p?A a a a?T?Y A X8我们有即不相关各自的方差为总的方差是我们从中,选出对方差贡献最大的部分指标,就达到了主成分分析的目的。1T0( ) ( )0p??? ?? ?? ?? ?? ?? ?Y A X ACOV COV1, ,pY Y?1, ,p? ??tri???Σ1, ,pY Y?、鸡蛋、水果3种商品价格的月份资料的协方差矩阵为:试求这3种价格的主成分。解:根据上述协方差