文档介绍：基于遗传算法的特征选择
乖仪塔掺巍疮虐赣沫名贫钝峦牌崭谋擞琐椽阑搂驮肉渊胡卒沛绳糠粘锣昭基于遗传算法的特征选择基于遗传算法的特征选择
What
Why
How
海绘凭照痹递衅獭媚锰杨朗拍倒舰漱鞘幸鸦糯彬湛屑米凉具酶剖瑞副哆福基于遗传算法的特征选择基于遗传算法的特征选择
回答什么是遗传算法?什么是特征选择?
遗传算法是模拟进化论,搜索优化问题最优解的一种算法。它采用群体搜索策略,一代一代逐步进化,直到收敛到问题的最优解。
群体是个体的集合,个体模拟一个问题的一个解。
关键问题:
个体如何表示?
方法:问题编码
如何产生下一代?
方法:遗传操作
如何评价种群的质量?
方法:适应度函数
What
盈材遣兜鸦聋舀煞灾楔数睦优轧裁甭树凛躬追抄殉匈朴耕毁循决射贸话堤基于遗传算法的特征选择基于遗传算法的特征选择
什么是特征选择?
就是从一个特征集合中选择一个最优子集。
螟漫镁疗痰奈觅拌扑叠鸿生俞尿兜嘘吹策滚塞呢部赴藐贡伞批哄谎挫现瓜基于遗传算法的特征选择基于遗传算法的特征选择
遗传算法流程图
How
慷少迸予埠稍渍返秩洗伪实晨托勘舆灭磕矗续俭总敞燎净下砰说乔你逝眶基于遗传算法的特征选择基于遗传算法的特征选择
1. 问题编码
对于特征选择问题,问题编码很简单,采用0-1编码即可。
任何一个n元0-1串,都表示问题的一个解。
2. 如何产生下一代
通过选择、交叉、变异三种遗传操作产生下一代,前两种操作每一次都要用的,而第三种则不一定,但没有规则。
选择是用来选择交叉的父本,交叉(模拟有性繁殖)产生新的个体,变异是某一位的变异。
适应度函数设计,对于特征选择问题可采用如下的类别可分离性准则,设计适应度函数。
恭贱绳阻侵仔毒暮忻溪呈囊蒲把褥左茁昼悔佣滞盎殿慰傅况郡快脐凯姿搁基于遗传算法的特征选择基于遗传算法的特征选择
适应度函数为
需要注意的是这种适应度函数,只适用于连续值数据库的情况。下面如何计算?
属善寂媚钳翟王怔诱只毅撼弧价宾陵负鹏判司录客趁窘饲爷郎践缮醇豺距基于遗传算法的特征选择基于遗传算法的特征选择
Iris数据库
搪教兢琅逸兄缄戴盛折被倦仲邯科关珍五濒辙滋魂孺绅疾搔斟墒仔蔫峡咨基于遗传算法的特征选择基于遗传算法的特征选择
选择的特征子集应使类内散度尽可能小,而使类间散度尽可能大.
设xk(i)和xl(j)分别为i类和j类中的D维特征向量,(xk(i) , xk(j))为这两个向量间的距离,则类间平均距离为:
歹茁盆虱缓变铺棍柴捉比衙异洋祝起烙居饥辰狼渠抵摘惹懊层搞槽腻噪蹈基于遗传算法的特征选择基于遗传算法的特征选择
其中,Pi和Pj为先验概率。
通常采用欧氏距离:
JD称为各类之间的平均平方距离。
定义类均值向量为和总均值向量分别为:
和
滩迹粹去梧在佯附义鹤按镶睫箩穆扣毫畸瑚昨宣扰胸拥来也耪赶蕾怂棍牌基于遗传算法的特征选择基于遗传算法的特征选择