文档介绍：第三章第三章主成份分析及因子分主成份分析及因子分析析 ponent analysis § 引言主成分分析(或称主分量分析, principal component analysis) 由皮尔逊(Pearson,1901) 首先引入,后来被霍特林(Hotelling,1933) 发展了。主成分分析是通过降维技术把多个变量化为少数几个主成分(即综合变量)的统计分析方法。主成分能够反映原始变量的绝大部分信息,通常表示为原始变量的某种线性组合。主成分分析的一般目的是: 变量的降维;主成分的解释。能否在相关分析的基础上,用较少的新特征代替原来较多的旧特征,而且使这些较少的新变量尽可能多地保留原来变量所反映的信息? 一、主成分分析的基本原理假定有样本,每个样本共有 p个特征,构成一个 n×p阶的数据矩阵??????????????? np nn p pxxx xxx xxxX?????? 21 2 22 21 1 12 11( ) 当p较大时,在 p维空间中研究问题比较繁琐。解决办法:进行降维处理,即用较少的几个综合指标代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息,同时它们之间又是彼此独立的。定义:记 x 1,x 2,…,x P为原变量指标, z 1,z 2,…,z m(m≤p)为新变量指标??????????????????? p mp m mm pp ppxlxlxlz xlxlxlz xlxlxlz??? 2211 22 22 1 21 2 12 12 1 11 1 .. .......... () 系数 l ij的确定原则: ①z i与z j(i≠j;i, j=1,2,…,m)不相关; ②z 1是x 1,x 2,…,x P的一切线性组合中方差最大者, z 2是与 z 1不相关的 x 1,x 2,…,x P 的所有线性组合中方差最大者;…;z m是与 z 1,z 2,……,z m-1都不相关的 x 1,x 2,…x P, 的所有线性组合中方差最大者。则新变量指标 z 1,z 2,…,z m分别称为原变量指标 x 1,x 2,…,x P的第 1,第 2,…,第 m 主成分。主成分分析的实质就是确定原来变量 x j (j=1,2 ,…,p)在诸主成分 z i(i=1, 2,…,m)上的荷载 l ij(i=1,2,…,m; j=1,2 ,…,p)。从数学上可以证明,它们分别是相关矩阵 m个较大的特征值所对应的特征向量。二、主成分分析的计算步骤(一)计算相关系数矩阵 r ij(i,j=1,2,…,p )为原变量 x i与x j 的相关系数, r ij=r ji,其计算公式为??????????????? pp pp p prrr rrr rrrR?????? 21 2 22 21 1 12 11( ) ??????????? nk nk j kj i ki nk j kji ki ijxxxx xxxxr 11 2 2 1)()( ) )((( ) (二)计算特征值与特征向量①解特征方程 ,常用雅可比法( Jacobi )求出特征值,并使其按大小顺序排列; 0??RI?0 21???? p????②分别求出对应于特征值的特征向量,要求=1 ,即 , 其中表示向量的第 j个分量。 i?),,2,1(pie i?? ie 1 1 2??? pj ije ije ie