文档介绍：第7章基于K—L变换的特征提取
离散的卡洛南—洛伊(K—L)变换
采用K—L变换的分类特征提取
鉴别向量和鉴别平面
上一章讨论的特征选择是在一定的准则下从n个特征中选出m个来反映原来的模式,这种简单的删掉某个特征总是不十分理想的,因为一般来说,原来的n个数据各自在不同程度上反映了识别对象的某些特性,简单的删掉可能会丢失较多的信息。这时,若将原来的特征作正交变换,获得的每个数据都是原来的n个数据的线性组合,然后从新的数据中选出少数几个,使它们尽可能多地反映各类模式之间的差异,又尽可能的相互独立,这比单纯的选择方法更灵活,效果更好,这就是将要介绍的K—L变换,它适用于任何的概率密度函数。 K—L变换实际上是一种最佳的特征压缩。
返回本章首页
离散的卡洛南—洛伊(K—L)变换
返回本章首页
设是一个维的随机向量,则它可以用下式无误差的展开:
返回本章首页
是线性独立的,其构成了包含的维空间,这些向量就是这个空间的一个基组。进一步它还满足以下性质:
假定我们只保留向量的分量的一个子集
, 就用这些分量估计出。
返回本章首页
下面讨论最佳子集的选取
若用的分量来恢复原始模式,不应使模式产生明显的畸变。实际上我们的任务就是要选择一个最佳的变换使得模式向量的维数降低后仍能保留模式的最重要的特征。若保留,不保留的用预先选定的常数来代替,这时对的估计值为:
返回本章首页
注意到和都是随机向量,用的均方误差作为选取个特征的子集的有效性的判据,则
是和的函数,要使最小,就是求使取极小值的最佳的和的值。
对的选择
返回本章首页
也就是说,对于省略掉的那些分量,应当用它们的期望值来代替。这时的均方误差
对的最佳选择( )
实际上要在的条件下,找出使最小的,构造Lagrange函数:
返回本章首页
L极小的必要条件为
该式表示, 是协方差矩阵的第 i 个本征值,而是与对应的本征向量。这时,最小均方误差为:
式中所选的愈小,误差愈小。
从以上可以得出结论:
返回本章首页
(1)为使误差最小,不采用的本征向量,其对应的本征值应尽可能小。将本征值按大小次序标号,即
应首先采用前面的本征向量。这时的变换矩阵为
(2)K—L变换是在均方误差最小的意义下获得的数据压缩的最佳变换,它消除模式特征之间的相关性,突出其差异性,且不受模式分布的限制。
返回本章首页
例题7-1 两组二维空间的数据(a)(b)如图所示, 试用K—L变换来做一维的特征提取。
(a)
(b)