文档介绍：第二章主成分分析

标，而这些较少的综合指标既能尽多地反映原来较多指标的有用信息，且相
互之间乂是无关的。作为一种建立在统计最优原则基础上的分析方法，简单的多，这正是核方法迷人的地方。
数据空间特征空间
图3-1核方法框架示意图
对丁核函数必须满足Mercer条件：对丁任意给定的对称函数K(Xj,Xj),它是某个特征空间中的内积运算的充要条件是对丁任意的不包为0的函数g(x)满足g(x)2dx，有K(x,y)g(x)g(y)dxdy0(3-2)式(3-2)给出了函数成为核函数的充要条件。
考虑到核方法的基础是实现了一种由输入空间到特征空间的非线性映射，假
设输入空间数据为xiRdL(i1,2』|,N),对任意对称、连续且满足Mercer条件的函数K(x”xj),存在一个Hilbert空间H,对映射：RdLH有dFK(xi,xj)n(xi)(xj)(3-3)n1式中dF是H空间的维数。
常用的核函数有以下几种形式：
线性核函数
K(x,x)xxi(3-4)
P阶多项式核函数K(x,xi)[(xx)1]p(3-5)
高斯径向基函数(RBF核函数K(x,Xi)exp("X『)(3-6)多层感知器核函数K(x,xUtanh[v(x为)c](3-7)〔,x2,...,xm为训练样本，用｛x｝表示输入空间。KPCA方法的基本思想是通过某种隐式方式将输入空间映射到某个高维空间(常称为特征空间),并且在特征空间中实现pca[5,6]。假设相应的映射为,其定义如下dF(x)
核函数通过映射将隐式的实现点x到F的映射，并且由此映射而得的特征空间中数据满足中心化的条件，即考虑到所有的特征向量可表示为
(xi),(x2),...,(xm)的线性张成，即
M
(x)0
1
(3-8)
则特征空间中的协方差矩阵为：
C
1MT
-(x)(x)T(3-9)
M1
现求C的特征值0和特征向量
V
F\{0},C(3-10)
即有
((x)C)(
(xv))(3-11)
Mvi(xi)(3-12)i1则有M
(((x)w1
(xw)(xw)(x)))
M
((x)(x))(3-13)
1
其中v1,2,...,M。定义MM维矩阵K
当(3-8)不成立时，需进行调整，(x)则核矩阵可修正为KK-1(，可得1、将所获得的n个指标(-I
ami
则式子(3-13)可以简化为显然满足M求解(3-16)就能得到特征值和特征向量,影为(k(x))将内积用核函数替换则有
MKK计算核矩阵，先选定高斯径向核函数中的参数，再由式(3-14),计算核矩阵K。
通过(3-20)修正核矩阵得到KL。
运用Jacobi迭代方法计算KL的特征值1,...,n即对应的特征向量林…巧
特征值按降序排序(通过选择排序)得1’...n'并对特征向量进行相应
(3-15)K(3-16)对丁测试样本在特征向量空间Vk的投Mk
(i)((xi),(x))(3-17)
i1M
(x))(i)kK(x