文档介绍：算法讲解 算法 ID3 算法知识结构决策树基础信息论基础决策树基础?女孩家长安排相亲?女孩不厌其烦?女孩提出决策树?父母筛选候选男士决策树基础有向无环二叉/多叉树?父节点:没有子节点的节点?内部节点:有父节点、子节点的节点?叶节点:有父节点没有子节点的节点父节点内部节点叶节点分割属性+判断规则类别标识决策树基础父节点内部节点叶节点(类别标识) (分割属性+判断规则) 决策树基础训练集: 数据的集合,用于生成树(模型) 测试集: 用于测试树(模型)的性能决策树作用: ?通过训练集?算法指导下?生成决策树?新数据进行划分?否则是“三拍”决策训练集算法决策树新数据决策决策树基础实例 No. 头痛肌肉痛体温患流感 1是(1) 是(1) 正常(0) N(0) 2是(1) 是(1) 高(1) Y(1) 3是(1) 是(1) 很高(2) Y(1) 4否(0) 是(1) 正常(0) N(0) 5否(0) 否(0) 高(1) N(0) 6否(0) 是(1) 很高(2) N(1) 7是(1) 否(0) 高(1) Y(1) 决策树怎么做?谁是父节点? 谁是下一层子节点?为什么是它? ?头-肌肉-体温?头-体温-肌肉?肌肉-头-体温?肌肉-体温-头?体温-头-肌肉?体温-肌肉-头 33 3! 6 P ? ?三拍决策决策树基础……@)￥—— JK)I * &^Fkl9 * ^&% * &UIDOFGJ No. 天气气温湿度风类别 1晴热高无 N 2晴热高有 N 3多云热高无 P 4雨适中高无 P 5雨冷正常无 P 6雨冷正常有 N 7多云冷正常有 P No. 天气气温湿度风类别 8晴适中高无 N 9晴冷正常无 P 10雨适中正常无 P 11晴适中正常有 P 12多云适中高有 P 13多云热正常无 P 14雨适中高有 N怎么生成好的? 哪个好? 种决策树方案决策树基础 N个分割属性的训练集( !) nn P n ?决策树基础好的决策树:( MDL 准则下为例) Minimum Description Length ?训练集中大多数数据符合这棵树?例外的数据单独编码描述决策树用的 bit 描述例外数据用 bit Min 哪个好?