文档介绍：Linear Discriminant Analysis LDA
线性判别式分析法
利用线性判别函数设计两类分类器
优选
*
问题的起源
在概率密度函数P(x|wi)未知的条件下,不再设法求出P(x|wi)并转化为后验概率密度Linear Discriminant Analysis LDA
线性判别式分析法
利用线性判别函数设计两类分类器
优选
*
问题的起源
在概率密度函数P(x|wi)未知的条件下,不再设法求出P(x|wi)并转化为后验概率密度函数P(wi | x),而是采用以下方法:
给定某个线性判别函数类g(x)
利用样本集X确定判别函数类g(x)中的未知参数(给定一个cost function用最优化方法使代价函数取极值)
把未知样本x归类到具有最大的判别函数值的类别中
优选
*
线性判别函数的给定
一般线性判别函数:
优选
*
优选
*
广义线性判别函数:
优选
*
优选
*
优选
*
结论:
对任意判别函数作级数展开，然后取其截尾局部的逼近,通过适当的变换，都可以化为广义线性判别函数来处理.
解决由样本集设计线性分类器的主要步骤:
优选
*
准那么函数的选取
感知准那么函数(应用于线性可分的样本集)
原理:
设:样本集Y={y1, y2,…, yN}为对应于X= {x1, x2,…, xN}的增广样本集.
优选
*
感知准那么函数
优选
*
优选
*
优选
*
优选
*
解释:
设:A为αTyn>0的解区, B为αTyn>b的解区,那么: 对任意α∈B必有α∈A,即有:.
设: αA为A解区边界上的点,那么αA满足: αATyn=0. αB为B解区边界上的点,那么αB满足: αBTyn=b. B解区边界离开A解区边界的距离|| αB -αA ||为:
αBTyn -αATyn =b αBT -αAT=b/yn || αB -αA || =b/ || yn ||
优选
*
最小错分样本数准那么
引子:
感知准那么函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，算法不收敛．，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一个如感知准那么函数那样的解向量，使得对两类样本集做到将全部样本正确分类；而对于线性不可分问题，。
优选
*
优选
*
最小错分样本数准那么函数I:
对于式(4-47)定义准那么函数I: Jq1=||(Yα -b)-| Yα -b | ||2
找满足 :min Jq1的α*. (共轭梯度法)
最小错分样本数准那么函数II:
对于式(4-45)定义准那么函数II: Jq2=Σ½(1+sgn(yiα))
找满足 :max Jq2的α*. (搜索法)
式中: sgn(yiα)= -1 if yiα<0
sgn(yiα)= +1 if yiα≧0
优选
*
平方误差(MSE)准那么函数:
优选
*
优选
*
MSE准那么函数的性质:
优选
*