文档介绍：. .
优选
主成分分析
1主成分分析及主成分回归的根本思想
主成分分析是把各变量之间互相关联的复杂关系进展简化分析的方法。由于多个变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的. .
优选
主成分分析
1主成分分析及主成分回归的根本思想
主成分分析是把各变量之间互相关联的复杂关系进展简化分析的方法。由于多个变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式，从这些指标中尽可能快的提取信息。当第一个线性组合不能提取更多的信息时，再考虑用第二个线性组合继续这个快速提取过程，直到所提取的信息与原指标相差不多时为止。主成分分析试图在力保数据信息丧失最少的原那么下，对这种多变量的截面数据表进展最正确综合简化，也就是说，对高维变量空间进展降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。主成分回归是在主成分分析法的根底上，由个自变量选出前个主成分，他们是互不相关的；在保持因变量不变，用这个主成分作为自变量作回归；最后把所得的结果作变量代换，转化成原来因变量与自变量的关系。
2数学模型与几何解释
主成分分析的数学模型是，设个变量构成维随机向量为。对作正交变换，令，其中为正交阵，要求的各分量是不相关的，并且的第一个方差是最大的，第二个分量的方差次之，……。为了保持信息不丧失，的各分量方差与的各分量方差和相等。其数学推导为：
. .
优选
设为一个维随机向量，并假定存在二阶矩，其均值向量与协方差分别记为
考虑如下的线性变换
……
用矩阵表示为
其中，；。
满足如下条件：
每个主成分的系数平方和为1。即。
主成分之间相互独立，即无重叠信息。即
主成分的方差依次递减，重要性依次递减，即
3 主成分分析的性质及推导
第一主成份的推导：
设X的协方差阵为
由于Σx为非负定的对称阵，那么有利用线性代数的知识可得，必存在正交阵使得其中为的特征根，不妨假设。而恰好是由特征根相对应的特征向量所组成的正交阵。
设有维正交向量
. .
优选
=
当且仅当时，即 时，有最大的方差。因为
。
如果第一主成分表达的信息不够，那么须找第二主成分。
〔2〕第二主成分：
因为第一，第二主成分线性无关所以有条件，寻找第二主成分。，因为所以。那么对维向量有
。
所以取线性变换，那么方差次大。依次类推
矩阵形式为 。
主成份性质：
性质1 主成分的协方差矩阵是对角阵。
性质2 主成分的总方差等于原是变量的总方差。
性质3 主成分与原是变量的相关系数为并称之为因子负荷量。
. .
优选
性质4 ，〔〕。
样本主成分性质:
1、第个主成分的系数向量是第个特征根所对应的标准化特征向量。
2、第个主成分的方差为第个特征根，且任意两个主成分都是不相关的，也就是的样本协方差矩阵是对角矩阵