文档介绍：线性判别分析( LDA ) 基本思想线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,即把高维空间中的数据点投影到一条直线上去,将多维降为一维。并且要求投影后各样本的类间散布距离最大,同时类内散布距离最小。 LDA 二分类问题公式推导假设 A和B为分类明确的两类症状。在总体 A中观察了 P例, 在总体 B中观察了 q例,每一例记录了 n个指标,分别记为 x 1 ,x 2,…,x n。令 y是n个指标的一个线性函数,即 y=w 1x 1 +w 2x 2+…+w nx n y=wTx 其中 w 1,w 2,…,w n 是待估计的未知系数。我们称上述线性函数是线性判别法的判别函数。假设用来区分二分类的直线(投影函数)为: 类别 i的样本均值:类别 i投影后的均值为: 投影后,类别内点之间的分散程度(方差)为: 最终我们可以得到一个下面的公式,称为准侧函数。为了找到最有利于分类的的方向 W,还需要建立一个准侧函数: LDA 我们分类的目标是找到一个最优化的 W ,使得类别内的点距离越近越好(集中),类别间的点越远越好。分母表示每一个类别内的方差之和,方差越大表示一个类别内的点越分散,分子为两个类别各自的中心点的距离的平方,我们最大化 J(w) 就可以求出最优的 w 定义: (1)样本类内离散度矩阵 S i和总类内离散度矩阵 T ( )( ) 1, 2 i i i i x S x m x m i ??? ???? S ? 1 2 w S S S ? ?(2)样本类间离散度矩阵 S B 1 2 1 2 ( )( ) T b S m m m m ? ? ? LDA LDA 然后将 J(w) 分子和分母分别化为: 这样目标优化函数可以化成下面的形式: 瑞利商???? 2 T 1 2 B 2 2 1 2 T T w B T T B W | | S Fisher ( ) L(w, =w S w - (w S w-C) L(w, =w S w - (w S w-C) Tw m m w J w w S w s s ? ?? ??? ?? w 准则函数 Lagrange 乘子法: ),(令分子固定) ),(令分母固定) 1 ( ,0...... B w B w w B L w S w S w w S w S w S S w w ???? ???? ???? ?? ?)( Ax= x 的形式) T 11 T ( ( ( ( R(( ww B S w w w S w w S ??? ????? 1 2 1 2 1 2 1 2 1 1 2 2 m -m ) m -m ) m -m )R,R= m -m ) 是个标量 m - ,m)-m m) 根据广义 Rayleigh 商的性质: J(w)的极值与 w的大小无关,只与 w的方向有关。 Fisher 算法步骤总结: 由 Fisher 线性判别式求解向量的步骤: ①把来自两类的训练样本集分成和两个子集和。②由, i=1,2 ,计算 m i。③由计算投影后各类的类内离散度矩阵④计算类内总离散度矩阵⑤计算 Sw 的逆矩阵。⑥由求解 w*。月份/年龄男孩体重(kg) 男孩身高(cm) 女孩体重(kg) 女孩身高(cm) 出生时 1~2 个月 2~3 个月 3~4 个月 4~5 个月 5~6 个月 6~7 个月 7~8 个月 8~9 个月 9~10 个月 幼儿不同年龄段的身高体重指标: