文档介绍：05主成分分析
2
主成分分析专题
§1 引言
我们在作数据分析处理时，涉及的样品往往包含有多个测量指标〔比方个指标〕，较多的指标会带来分析问题的复杂性。然而，这些指标彼此之间常常存在着一定程度的、有时甚
，，
由于
11
〔〕
故主成分的均值为
〔〕
协方差矩阵为
〔〕
2. 主成分的总方差
由于，
备注：
假设，均为方阵，那么。
备注完毕。
所以
〔〕
或

由此可以看出，主成分分析把个原始变量的总方差分解成了个不相关的变量的方差之和。主成分分析的目的就是为了减少变量的个数，一般是不会使用所有个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。我们称
11
为主成分的奉献率；第一主成分的奉献率最大，这说明综合原始变量
的能力最强，而的综合能力依次递减。假设只取〔〕个主成分，那么称
为主成分的累计奉献率，累计奉献率说明综合的能力。通常取，使得累计奉献率到达一个较高的百分数〔如85％〕以上。
3. 变量与主成分之间的相关系数
变量与主成分之间的相关系数的计算公式为
〔〕
由〔〕式知
〔〕
12
假设记，那么

所以
代入〔〕式得
〔〕
即
〔〕
。在实际应用中，通常我们只对与
的相关系数感兴趣，，即形成表。
变量与主成分之间的相关系数
主成分
原始变量
…
…
…
13
…
…
…
…
…
…
4. 个主成分对原始变量的奉献率
前面提到的累计奉献率这个概念度量了主成分从原始变量中提取信息的多少，那么，包含有的多少信息应该用什么指标来度量呢？这个指标就是与的复相关系数的平方，称为个主成分
对原始变量的奉献率，记为。易知，
即
〔〕
。
个主成分对原始变量的奉献率
14
原始变量
…
…
由式知，对的奉献率。另外，下式也可证明：
〔〕
备注：
事实上，因为，所以，
另外，
备注完毕。
三、载荷矩阵
可以表达为
15
可见，的每一分量均可表示成主成分的线性组合。如果我们选取前个主成分，并记
〔〕
那么有
即的每一个分量均可近似地表示为前个主成分的线性组合。由前面知
是不相关的，且，即
〔〕
和

17
〔〕
比拟〔〕与〔〕两式，可以看出用去代替时，一般能说明方差的大局部，所占比例为
〔〕
可见，相对越大，上述比值一般就越大，说明用个主成分
来综合反映原始变量的效果也就越好。另一方面这个比值也取决于，我们称为第个原始变量在第个主成分的载荷，而称由矩阵的前列组成的矩阵为主成分的载荷矩阵，记为，即
即
我们来分析一下载荷矩阵中元素代表的意义。
18
中的第列反映了主成分对原始变量各分量的作用。如果中出现了一列中只有一个非零元素，不妨设第1列为
这时
即
…
那么说明第一主成分只对原始变量有作用，而对其它的原始变量都不起作用；如果中某一列的元素均不为零，那么说明这一列相应的主成分对各原始变量都起作用。因此我们把前一种主成分称为特殊成分，而把后一种主成分称为公共成分。由此可见，载荷矩阵的具体形式可供我们分析每一主成分对诸原始变量的奉献。所以，在主成分分析中，在求出主成分的同时，还应求出载荷矩阵。
18
在实际应用中，一般先对个主成分的方差施行标准化，然后再求出主成分的载荷矩阵。即令
于是
备注：
备注完毕。
所以，由〔〕式得
19
其中
即
，且
这是用标准化的主成分近似表示原始变量的公式。此时的方差可表示为
，〔〕
称为标准化