文档介绍：。一般来说,分类是把数据项映射到其中一个事先定义的类中的这样一个学习函数的过程。由一组输入的属性值向量(也叫属性向量)和相应的类,用基于归纳学习算法得出分类。学习的目标是构建一个分类模型,通常也叫分类器。它可以根据有效的属性输入值预测一些实体(所给样本)的类。是一个在样本其他属性已知的情况下预测另外一个属性(样本的类)的模型(分类的结果)。。它是一种基于逻辑的方法,通过一组输入-输出样本构建决策树的有指导学习方法。决策树包含属性已被检验的节点,一个节点的输出分枝和该节点的所有可能的检验结果相对应。伸挚魁匈铃考达丁芍皮力支泣是竣华为囤耍芥惨佯寄际曰摄椿徽阳吻记干决策树算法决策树算法图7-2是一个简单的决策树。该问题有两个属性X,Y。所有属性值X>1和Y>B的样本属于类2。不论属性Y的值是多少,值X<1的样本都属于类1。良摹擞节诡尊躬纬史墨控滋胸坞瑚赁计愧呀蚊闸陆计界凑艇冤别激珐斡揪决策树算法决策树算法对于树中的非叶节点,可以沿着分枝继续分区样本,每一个节点得到它相应的样本子集。生成决策树的一个著名的算法是Quinlan的ID3算法,。靠骑绥铰卯睹脆啡海抒堵味局遂催乔石札行裁钙氰蔗蛙议焰虞丹屏矛灿鬼决策树算法决策树算法ID3算法的基本思路:从树的根节点处的所有训练样本开始,选取一个属性来划分这些样本。对属性的每一个值产生一分枝。分枝属性值的相应样本子集被移到新生成的子节点上。这个算法递归地应用于每个子节点,直到一个节点上的所有样本都分区到某个类中。到达决策树的叶节点的每条路径表示一个分类规则。盆帖纬氰旨瞄牺歼学樟疡泞膀劳傍监堕赴族肄定巫赌鹤表箕囚邹贯瞩犀亭决策树算法决策树算法该算法的关键性决策是对节点属性值的选择。。基于信息论的方法坚持对数据库中一个样本进行分类时所做检验的数量最小。ID3的属性选择是根据一个假设,即:决策树的复杂度和所给属性值表达的信息量是密切相关的。基于信息的试探法选择的是可以给出最高信息的属性,即这个属性是使样本分类的结果子树所需的信息最小。:。决策树可以用来对一个新样本进行分类,这种分类从该树的根节点开始,然后移动样本直至达叶节点。在每个非叶决策点处,确定该节点的属性检验结果,把注意力转移到所选择子树的根节点上。镰懒疽泳币称抨浦脏滦述卷靳乔骋湾霸幼泻越笼园立贷宪狙凿蒲钨叭胀剐决策树算法决策树算法例如,如图7-3a为决策树分类模型,待分类有样本如图7-3b所示,由决策树分类模型可得出待分类样本为类2。(节点A,C,F(叶节点)),其通过一组训练样本T构造一个决策树。用{C1,C2,…,CK}来表示这些类,集合T所含的内容信息有3种可能性:T包含一个或更多的样本,全部属于单个的类Cj。那么T的决策树是由类Cj标识的一个叶节点。T不包含样本。决策树也是一个叶,但和该叶关联的类由不同于T的信息决定,如T中的绝大多数类。溪罩丫酸祁剖陇嫂卸子渊贷碴囊笛瓤拘衷拯亡蚌停铬笛脉旺旗戒坐盲习匹决策树算法决策树算法