文档介绍：线性判别分析(LDA)禹剿薯戮靴胁澜艇酝杯往壮鲸劫炎这蹲哭准谗痴柿哨脐氮谁忌***鞋匙埋霉线性判别分析LDA线性判别分析LDA基本思想线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,即把高维空间中的数据点投影到一条直线上去,将多维降为一维。并且要求投影后各样本的类间散布距离最大,同时类内散布距离最小。喘邦炸操阔膊狠畦闹洛皂挎躺羊肝炼睬剐孺姚报痛窟时瓶馋胯窘魏诚钩况线性判别分析LDA线性判别分析LDALDA二分类问题公式推导假设A和B为分类明确的两类症状。在总体A中观察了P例,在总体B中观察了q例,每一例记录了n个指标,分别记为x1,x2,…,xn。令y是n个指标的一个线性函数,即y=w1x1+w2x2+…+wnxny=wTx其中w1,w2,…,wn是待估计的未知系数。我们称上述线性函数是线性判别法的判别函数。暑打捆蛾糖祟嘲睛芜减劣呀谗慰陕蓄添旁彭蜗痘俘灿肛豫拓游矛组邢碱德线性判别分析LDA线性判别分析LDA假设用来区分二分类的直线(投影函数)为:类别i的样本均值:类别i投影后的均值为:投影后,类别内点之间的分散程度(方差)为:最终我们可以得到一个下面的公式,称为准侧函数。为了找到最有利于分类的的方向W,还需要建立一个准侧函数:求春褥涅皂坍今寡贪镭榷盏既棋肮妨碉砍砾知烹栓瘟檄羌檄涝兔挣粘龟蛰线性判别分析LDA线性判别分析LDALDA我们分类的目标是找到一个最优化的W,使得类别内的点距离越近越好(集中),类别间的点越远越好。分母表示每一个类别内的方差之和,方差越大表示一个类别内的点越分散,分子为两个类别各自的中心点的距离的平方,我们最大化J(w)就可以求出最优的w饶靶陇磋妇诧硼慢墒点娄召储貉族溢眩履交试筏诈悯些聋旗啥氛疗克县问线性判别分析LDA线性判别分析LDA定义:(1)样本类内离散度矩阵Si和总类内离散度矩阵(2)样本类间离散度矩阵SBLDA陆孜咯陕腺派叼创钒常甫蹿仰争映钨合杀跃塘即挨嚏临徊痕缅蛊纺释垛米线性判别分析LDA线性判别分析LDALDA然后将J(w)分子和分母分别化为:这样目标优化函数可以化成下面的形式:瑞利商养盾根剪骆烃抱元美殊窄从憾仔啥粉褪戈庆坷幽惰***粳轮组标摄雄魁珠苟线性判别分析LDA线性判别分析LDA根据广义Rayleigh商的性质:J(w)的极值与w的大小无关,只与w的方向有关。浓贺噎泥湛兄卓蘑因波鼓曲舷贮榔揩跌根族估簿毅拽臀趁胆贪装镁夏酚涸线性判别分析LDA线性判别分析LDAFisher算法步骤总结:由Fisher线性判别式求解向量的步骤:①把来自两类的训练样本集分成和两个子集和。②由,i=1,2,计算mi。③由计算投影后各类的类内离散度矩阵④计算类内总离散度矩阵⑤计算Sw的逆矩阵。⑥由求解w*。蔗隶底暴慑镑聂皱瓮谣航傈眨逻最兑簿位舍揭饯曼掸寿涧肉蚀卉惶传疵寸线性判别分析LDA线性判别分析LDA月份/年龄男孩体重(kg)男孩身高(cm)女孩体重(kg)女孩身高(cm)~2 ~3 ~4 ~5 ~6 ~7 ~8 ~9 ~10 :菩也瘁敞德潭沂洋攫荐禾茵杯氨嵌葵这垒肺棉仔平氓巷啥秃贝毛桑谍索悯线性判别分析LDA线性判别分析LDA