文档介绍：相关分析(Correlation Analysis)目录主成份分析典型相关分析预备知识若V是非负定矩阵,存在正交矩阵U(U'U=IP),使:其中为V的特征根,且K为矩阵V的秩,若U=(u1,...up),ui是V相应特征值对应的特征向量,U正交,所以u1,....up长度为1,且两两正交。1 2'PUVU 1 2 10, 0k k p 主成份分析设总体X=(x1,...xp)'p大于2,E(x)=U,D(x)=V找出X的一个线性组合y1尽可能来反应X,如不能则y2....... 设a=(a1,...ap)'是p维常向量y1=a'x=a1x1+....+apxp要求D(y1)=D(a'x)=a'D(x)a=a'Va达到最大。则: Max: a'Va (1). a'a=1 利用拉格朗日乘子法,令:则有: 分别令其为0,得:有非零解的充要条件要使a'Va最大即要最大,,从而得y1=u’1x' ( ' 1)a Va a a 1( , , )' 2 2pVa aa a a ' 1a a Va a ' 1a a 0V I ( ) 0V I a 1 若y1还不能充分反应X,则求第二个综合指标y2,令y2=a'x,还需满足y2与y1 不相关,即cov(y2,y1)=0,而cov(y2,y1)=cov(a'x,u1'x)=a'cov(x,x)u1=a'Vu1= a'u1所以 a'u1=0Max : a'Vas. t. a'a=1 a'u1=0y2=u2'x .................1步骤(1)求X的协方差阵V的特征值,记为(2)求对应的单位特征向量uj,j=1,....,k。(3)取yj=u'jx即为X的第j个主成份,j=1,...,k1 2 10, 0k k p j 贡献率:表示第K个主成份提取了X中总信信息的份额。累计贡献率:表明前M个主成份提取了X中总信息的份额。计算公式: 通常情况下累计贡献率超过85%就可以不往下求取主成份了。1kpii1 1miipii例题:身高x1(cm)胸围x2(cm)体重x3(kg) 0 1 , 2 , 3 1 (,,)'u 2 (, , )u 3 (,, )u 由贡献率可知主成份为y1,y2y1:反映学生魁梧与否的综合指标。y2:学生体型的综合指标。变量的标准化在实际问题中,不同的变量往往会有不同的单位,这样会引起很大的误差,导致不合理的结果,所以要把变量标准化。即,令这时X*=(X1*,X2*,....Xp*)T的协方差矩阵便是X=(X1,X2,...Xp)T的相关矩阵利用X的相关矩阵作主成份分析( )ij p p ( )* , 1,2, .( )Xi E XiXi i pV Xi ( ) ( ) cov( , )( ) ( ) ( ) ( )Xi E Xi Xj E Xi Xi Xjij EV Xi V Xj V Xi V Xj