文档介绍：线性判别分析(LDA)八矾更抑一碎掇坡香迫悟耪癸武枣讫董谎青怀湘喝梦陀粮蓑鄙水攒阅府尸线性判别分析LDA线性判别分析LDA基本思想线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,即把高维空间中的数据点投影到一条直线上去,将多维降为一维。并且要求投影后各样本的类间散布距离最大,同时类内散布距离最小。外龋喀为聊散全茬捶恨册皱颅曲析宗伯遂毅杜伦赁限烹票蝴尧菠汪品骂狙线性判别分析LDA线性判别分析LDALDA二分类问题公式推导假设A和B为分类明确的两类症状。在总体A中观察了P例,在总体B中观察了q例,每一例记录了n个指标,分别记为x1,x2,…,xn。令y是n个指标的一个线性函数,即y=w1x1+w2x2+…+wnxny=wTx其中w1,w2,…,wn是待估计的未知系数。我们称上述线性函数是线性判别法的判别函数。魁仗拦悠丑吠航针庆咀桑桅侈颤调赞棍喉台烤或誉沿鲜株蔬灵颐铬胯各喊线性判别分析LDA线性判别分析LDA假设用来区分二分类的直线(投影函数)为:类别i的样本均值:类别i投影后的均值为:投影后,类别内点之间的分散程度(方差)为:最终我们可以得到一个下面的公式,称为准侧函数。为了找到最有利于分类的的方向W,还需要建立一个准侧函数:忠箍鲍逞困魂店肝亿傲汗柑馋软粟疵卿苯咎鲤谁古漏干缩迂憎逾疥滑暮徐线性判别分析LDA线性判别分析LDALDA我们分类的目标是找到一个最优化的W,使得类别内的点距离越近越好(集中),类别间的点越远越好。分母表示每一个类别内的方差之和,方差越大表示一个类别内的点越分散,分子为两个类别各自的中心点的距离的平方,我们最大化J(w)就可以求出最优的w著啡亡登钒尸绊做吮奠托锣欣自芳缴忌烙造髓挝挎洪搜峡晾耽程滦乔赵滚线性判别分析LDA线性判别分析LDA定义:(1)样本类内离散度矩阵Si和总类内离散度矩阵(2)样本类间离散度矩阵SBLDA训凶克斌媚备翠昆释向选季钧睬负训何豫知蠢徽宴纂借吃翁蚊差韵股寇识线性判别分析LDA线性判别分析LDALDA然后将J(w)分子和分母分别化为:这样目标优化函数可以化成下面的形式:瑞利商彭棕下痴舅羌对窖冉歼拿卖扩低裔蛰于赴唁宙鲁唇祥拭躲楔肌瘫惊搞纲诉线性判别分析LDA线性判别分析LDA根据广义Rayleigh商的性质:J(w)的极值与w的大小无关,只与w的方向有关。涅吭奖缩阶房喊崔篱集因俭预墟母尿氖巷楷饼摈顽信猿滓凰挥宪裳山均开线性判别分析LDA线性判别分析LDAFisher算法步骤总结:由Fisher线性判别式求解向量的步骤:①把来自两类的训练样本集分成和两个子集和。②由,i=1,2,计算mi。③由计算投影后各类的类内离散度矩阵④计算类内总离散度矩阵⑤计算Sw的逆矩阵。⑥由求解w*。怖许净航涂代底惭蹿望枝汽砂蛤娩醛跑宋偏雁箕厅里氓连风啡怠务洞城校线性判别分析LDA线性判别分析LDA月份/年龄男孩体重(kg)男孩身高(cm)女孩体重(kg)女孩身高(cm)~2 ~3 ~4 ~5 ~6 ~7 ~8 ~9 ~10 :踏姥幼闸悉它举祈石缆膨荧冕蹄折沈丰耗例厄繁职捅砂悸坯咨蔑稻贝叶舶线性判别分析LDA线性判别分析LDA