文档介绍：相关分析 (Correlation Analysis)
目录
主成份分析
典型相关分析
预备知识
若V是非负定矩阵,存在正交矩阵U(U'U=IP),使:
其中为V的特征根,且
K为矩阵V的秩,若U=(u1,...up),ui是V相应特征值对应的特征向量,U正交,所以u1,....up长度为1,且两两正交。
主成份分析
设总体X=(x1,...xp)'p大于2,E(x)=U,D(x)=V
找出X的一个线性组合y1尽可能来反应X,如不能则y2.......
设a=(a1,...ap)'是p维常向量y1=a'x=a1x1+....+apxp
要求D(y1)=D(a'x)=a'D(x)a=a'Va达到最大。
则: Max: a'Va (1)
. a'a=1
利用拉格朗日乘子法,令:
则有: 分别令其为0, 得:
有非零解的充要条件
要使a'Va最大即要最大,取对应的特征向量为u1.
所以u1为问题的解,从而得y1=u’1x
若y1还不能充分反应X,则求第二个综合指标y2,令y2=a'x,还需满足y2与y1 不相关,即
cov(y2,y1)=0,而cov(y2,y1)=cov(a'x,u1'x)=a'cov(x,x)u1=a'Vu1= a'u1
所以 a'u1=0
Max : a'Va
s. t. a'a=1 a'u1=0
y2=u2'x .................
步骤
(1)求X的协方差阵V的特征值,记为
(2)求对应的单位特征向量uj,j=1,....,k。
(3)取yj=u'jx即为X的第j个主成份,j=1,...,k
贡献率:表示第K个主成份提取了X中总信信息的份额。
累计贡献率:表明前M个主成份提取了X中总信息的份额。
计算公式:
通常情况下累计贡献率超过85%就可以不往下求取主成份了。
例题:
身高x1(cm)
胸围x2(cm)
体重x3(kg)
由贡献率可知主成份为y1,y2
y1:反映学生魁梧与否的综合指标。
y2:学生体型的综合指标。
变量的标准化
在实际问题中,不同的变量往往会有不同的单位,这样会引起很大的误差,导致不合理的结果,所以要把变量标准化。即,令
这时X*=(X1*,X2*,....Xp*)T的协方差矩阵便是X=(X1,X2,...Xp)T的相关矩阵
利用X的相关矩阵作主成份分析