文档介绍：误差与维数
例子
贝叶斯误差概率
r增加，误差概率 减小
，
假设各特征独立：
到 的马氏距离
引入新的特征可使r增大，进而降低误差概率
维度灾难
在实际应用中
当特征个 分别为 和 对应于 的本征向量。 该分解称为矩阵A的奇异值分解（Singular Value Decomposition，SVD）， 为A的奇异值。
奇异值分解（SVD）
推论
利用SVD简化S的本征值分解
散布矩阵
其中，
令 若 ，则对R进行本征值分解要比直接对S进行本征值分解快。
例如，对绝大多数图像训练集来讲，图像的像素数要远远大于训练集中的样本个数，即
奇异值分解（SVD）
对R进行本征值分解
本征值：
本征向量：
根据 ，得出 的本征向量为
矩阵的本征值分解
矩阵的本征值分解
Fisher线性判别分析
PCA方法寻找用来有效表示数据（从最小平方误差的意义上讲）的主轴方向
线性判别分析（linear discriminant analysis, LDA）寻找的是用来有效分类的方向
Fisher线性判别分析
假设
n个d维样本 ，他们分属两个类别 和
其中，n1个属于类别 的样本组成样本子集 ， n2个属于类别 的样本组成样本子集
单位向量w方向上的投影
投影点 根据源数据的类别也分成两个子集 和
目标：投影到w上后，投影点更易分类
不同类的投影点尽量分开
同一类的投影点尽量靠近
Fisher线性判别分析
不同类的投影点尽量分开
设 为第i类的样本均值
投影后的样本均值
投影后的两类样本均值之间的距离
此距离越大，说明两类投影点分得越开
Fisher线性判别分析
同一类的投影点尽量靠近
投影类内散布
各类的投影类内散布之和
此总类内散布体现了投影后类内的“紧致”程度，其越小，说明同一类内的投影点越靠近
Fisher线性判别分析
Fisher准则函数
总类内散布
两类样本均值之间的距离
最大化J(w)即使得类间差距（分子）最大化同时类内差距（分母）最小化
Fisher线性判别分析
把J(w)表示为w的表达式
原数据空间类内散布矩阵
总类内散布矩阵
推导
Fisher线性判别分析
把J(w)表示为w的表达式
总类间散布矩阵
推导
Fisher线性判别分析
Fisher准则函数
Fisher准则函数最大化，w需满足
广义本征值问题
Sw非奇异
普通本征值问题
Fisher线性判别分析
2类推广到c类——多重判别分析
总类内散布矩阵
Fisher线性判别分析
2类推广到c类——多重判别分析
总体均值向量
总体散布矩阵
Fisher线性判别分析
2类推广到c类——多重判别分析
推导
类间散布矩阵
Fisher线性判别分析
2类推广到c类——多重判别分析
类间散布矩阵
投影
原样本点
投影点
变换矩阵
Fisher线性判别分析
2类推广到c类——多重判别分析
在由W张成的投影子空间中
Fisher线性判别分析
2类推广到c类——多重判别分析
将 代入，得到
求能够最有效分类的W：使得类间离散度和类内离散度的比值最大
离散度度量：散布矩阵的行列式
Fisher线性判别分析
2类推广到c类——多重判别分析
准则函数
使J(W)最大化的W的列向量由如下广义本征值问题中最大本征值对应的本征向量组成
SB为c个秩为1或0的矩阵之和，其中只有c-1个矩阵相互独立，所以SB的秩不大于c-1
所以如上广义本征值问题最多有c-1个非零本征值，对应c-1个本征向量，所以W最多有c-1列
Fisher线性判别分析
Fisher线性判别分析
投影到主成分方向
投影到LDA方向
降维实例：卫星图像分析
原卫星图像以及前6个PCA主成分投影方向
降维实例：卫星图像分析
原卫星图像以及前6个LDA投影方向
降维实例：卫星图像分析
原卫星图像以及前6个PCA主成分投影方向
降维实例：卫星图像分析
原卫星图像以及前6个LDA投影方向
降维实例：人脸识别
典型人脸图像集合
降维实例：人脸识别
人脸图像的前15个PCA主成分投影方向，又称为“本征脸”（eigenface）
Ch
Part 2 特征选择
降维
降低维度的方法