文档介绍：LinearDiscriminantAnalysisLDA线性判别式分析法利用线性判别函数设计两类分类器问题的起源在概率密度函数P(x)未知的条件下,不再设法求出P(xw)并转化为后验概率密度函数P(n1|x),而是采用以下方法1)给定某个线性判别函数类g(x)2)利用样本集北确定判别函数类g(x)中的未知参数(给定一个costfunction用最优化方法使代价函数取极值)3)把未知样本归类到具有最大的判别函数值的类别中线性判别函数的给定般线性判别函数g(r)=wx+wotb是个常数,称为阕值权。式中x是d维持征向量,又称样本向量,脚称为权向量,分别表示为方程g(x)=0定义了一个决策面当(x)为线性函数时,这个决策面便是超平面。它把归类于m类的点与归类于2类的点分劉开来假设r和x2都在决策面H上则有「x2+或x12判别函数g(x)可以看成是特征签间中某点x到超平面的距离的一种代数度量超平面H把特征空间分成两个半空间,即对c1类的决策域1和对类的决策域2名>,即w是H的法向量超平面的方向由权向量w确定w方向是H的正侧超平面的位鷺由阒值权确定。从原点到超平面H的距离0-Twr=盒(x)待征空间点x到超平面H的距离若x是x在H上的投影向量可得x=x+w7聊:是"方向上的单位向量。,设有一维样本空间X,我们所希望的划分是,如果x<b或x>a,则x属于2类;如果b<x<a,则x属于类。显然,没有任何一个线性判别函数能解决上述划分问题。图42二次判别函数举例从图42中可以看出,如果建立一个二次判别函数g(x)=(x-a)(x-b)则可以很好地解决上述分类问题,决策规厕是若{g(2)>0,则决策x∈叫g(x)<0,则决策x∈a二次判别函数可写成如下一般形式g(r)=co+gI+如果适当选择x→y的映射,则可把二次判别函数化为y的线性函数gtx)=暮y式中g(x)-ay称为广义线性判别函数,a叫做广义权间量。ay不是x的线性函数,但却是y的线性函数。ay亠0在Y空间确定了一个通过原点的超平面。把(x)=Wx+w线性判别西数的齐次简化vi:=>ay叫做增广样本向量叫做增广权向量d+1維d+1维超平面ay=0在Y空间通过原点变换后样本间的欧氏距离不变庄对Y空间的划分与原决策面wx+mn=0对原X空间的划分完全相同Y空间中任意一点y到的距离(x)结论对任意判别函数作级数展开,然后取其截尾部分的逼近,通过适当的变换,都可以化为广义线性判别函数来处理解决由样本集设计线性分类器的主要步骤实际上就是寻找最好的w和v的过程。最好的结果往往出现在准则函数的极值点上问题就转化为利用训练样本集寻找准则函数的极值点w“和w或a'的问题了(1)要有一组具有类别标志的样本集狁{x:,x2,…x有时也将样本集转换成增广样本集多来处理(2)要根据实际情况确定一个鹿则函數厂它必须满足:①是样本集和w或a的函数;②J的极值解则对应于“最好”的决策(3)用最优化技术求出准则函数的极值解w和v或a这样就可以得到纯性判别函数g(x)=wx+t6或g(x)=ary对于未知类别的样本x,只要计算g(x),然后根据决策规则g(x,)>0,则决策x∈g(x)<0,则决策x∈准则函数的选取感知准则函数(应用于线性可分的样本集)1)原理:设:样本集李={y1,y2…,N为对应于={x,为…,為}的增广样本集如果样本集y1,y2,…,y是线性可分的,圳必存在某个或某些权向量a,使得ay.>0,对一切y∈t1ay;<0,对一切y;∈w2(4-38)或著说,满足式(4-38)的一切权向量a,都能将全部N个样本正确分类排本的范化令y=一y,其中y∈,则也有a7y>0。因此,令对一切y,∈y叫做规范化增广祥本向量↓一y,对一切y:∈那么,只要找一个对全部样本y都满足ay>0,n=1,2,,N的权向量a就行了。上述过程称为样本的规范化,我们仍用y来表示它。2)感知准则函数设有一组样本y,y2,…,y,其中y是规范化增广样本向量,找一个解向量a使得ayn>0,n-1,2,…,N。对于线性可分情况,问题才有解。构造准则函数J(a)=∑(-ay)被权向量a错分类的样本集合。当y被错分类时y∈g,就有ay≤0,或一ay≥0当缪为空集时,Ja)=minp(a)=0这时将木存在错分样本问题--求解使Jp(g达到极小值时的解向量a采甩梯度下降法ap(a)对a求梯度VJp(a)aa=∑(-y)(440)选代公式为a(+1)=a(k)一AVJ(4-41任意给定初始权向量a(1)第k十1次选代时的权向量a(k+1)等于第k次的权向量加上被a(k)销分的样本之和乘以系数A收敛速度取决于a(1)和p