文档介绍：:..PCA原理1因为经常做一些图像和信号处理的工作,要用到主元分析(ponentsAnalysis)作为工具。写出來供自己和朋友参考。PCA是一种统计技术,经常应用于人面部识别和图像压缩以及信号去噪等领域,是在高维数据中提取模式的一种常用技术。要了解PCA首先要了解一些相关的数学知识,这里主要介绍协方差矩阵、特征值与特征矢量的概念。I、协方差矩阵协方差总是在两维数据之间进行度量,如果我们具有超过两维的数据,将会有多于两个的协方差。例如对于三维数据(x,y,z维),需要计算cov(x,y),cov(y,z)和cov(z,x)o获得所有维数之间协方差的方法是计算协方差矩阵。维数据协方差矩阵的定义为j=cov(Diint,Dimi))(l)这个公式告诉我们,如果我们有一个n维数据,那么协方差矩阵就是一个n行n列的方矩阵,矩阵的每一个元素是两个不同维数据之间的协方差。它的元素值为:对于一个3维数据(x,y,z),协方差矩阵有3行3列,需要注意的是:沿着主对角线,可以看到元素值是同一维数据之间的协方差,这正好是该维数据的方差。对于其它元素,因为cov(a,b)=cov(b,a),所以协方差矩阵是关于主对角线对称的。coV( :V)cov(”x)COV(N,X)cov(V,V)COV(N」)2、特征值和特征矢量只要矩阵大小合适,就可以进行两矩阵相乘,特征矢量就是其中的一个特例。。厂2■2厂2<—-个缩放的特征矢量仍然是一个特征矢量在第一个例子中,结果矢量不是原来因子矢量与整数相乘,然而在第二个例子中,结果矢量是原来因子矢量的4倍,为什么会这样呢?该矢量是一个2维空间矢量,表示从原点(0,0)指向点(3,2)的箭矢。方矩阵因子可以看作是转换矩阵,一个矢量左乘该转换矩阵,意味着原始矢量转换为一个新矢量。特征矢量来自于转换特性。设想一个转换矩阵,如果用其左乘一个矢量,映射矢量是它自身,这个矢量(以及它的所有尺度缩放)就是该转换矩阵的特征矢量。特征矢量有什么特性呢?首先只有方阵才有特征矢量,而且并不是所有方阵都有特征矢量,如果一个nXn方阵有特征矢量,那么它有n个特征矢量。特征矢量的另外一个性质是对特征矢量的缩放会得到缩放前同样地结果,,这是因为你对矢量的缩放只是改变它的长度,不会改变它的方向。最后,矩阵的所有特征矢量是正交的。这是一个菲常重要的性质,因为这意味着你可以在这些正交矢量上表示一组数据,而不仅是在x和y轴上。在下面的PCA小节内我们将作这个工作。另外一个需要了解的是数学家寻找特征矢量,总喜欢寻找长度为1的那一个特征矢量,这是因为矢量的长度不影响它是否是特征矢量,因此,为了保证特征矢量是标准的矢量,我们通常将特征矢量的长度缩放为1,从而所有的特征矢量都有相同的长度。怎样去找到这些神秘的特征矢量呢?不幸的是,只有对相当小维数的矩阵才有简单地方法,比如不超过3X3,对于较大维数的矩阵,需要复杂的迭代算法。特征值是与特征矢量极其相关的,事实上,。注意在两个例子中,原始矢量左乘方阵后与矢量缩放数一样。在这个例子中,缩放数为4。4就是对