文档介绍：决策树 ID3 算法
决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数 据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加 入到
训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策i=1 和)((|Ti|/|T|)Info(Ti)) = (82/161)I(28,54) + (79/161)I(4,75)= 最后可得到语文的信息增益度为：
Gain(X,T)=Info(T)-Info(X,T)=-=
同理可得其他课程的信息增益度，结果如下表所示： 数学 英语 化学
Gain 由此可以看出所有课程当中数学是最能区别训练集中决定物理成绩与否的课程 第四步：创建一个树结点，并创建该结点的子链，每个子链代表所选属性的一个 唯一值。使用子链的值进一步细化子类。当出现以下两种情形之一时可以停止分 类：；。 根据各个课程的信息增益度，应该选择数学作为所建决策树的根结点。由于数学 的属性值只有两个：1(及格)和 0(不及格)，所以在数学下可以建立两个分 支。经统计，数学不及格且物理不及格的人数为
100，其准确率为100/104=%。 因此对数学不及格这个分之停止分割。又经统计，数学及格的57人中有26人物 理及格，31 人物理不及格，所以应对数学及格这个分支进行分割。从上表可知， 应该选取化学作为分割结点进行细化。分割后经统计显示，数学和化学都及格的 学生中，有 26 人物理及格，6 人物理不及格，准确率为 26/32=%；数学及 格但化学不及格的学生中，有 22 人物理不及格， 3 人物理及格，准确率为 22/25=88%。由此可构建出数据的决策树，如下所示
数学
(及格) (不及格)
化学 物理不及格(104/4)
(及格) (不及格)
物理及格(32/6) 物理不及格(25/3) 注：括号内为分支条件(不知道怎么上传图片，实际是一棵树，呵呵) 第五步：将其它成绩作为检验集 。并用来检验所生成的决策树的准确度。 由该决策树可以得出下列规则：
IF学生的数学成绩不及格
THEN 其物理成绩通常也不及格。
准确度=(104-4)/104=％
覆盖率=104/161=％
IF学生的数学及格且化学成绩不及格，
THEN 物理成绩不及格。
准确度=(32-6)/32=％
覆盖率=32/161=20％
IF学生的数学成绩及格且化学成绩及格
THEN 其物理成绩及格
准确度=(25-3)/25=88％
覆盖率=25/161=16％
我们也可这样描述：学生数学的学****程度将直接影响着其对物理的学****效果。化 学的学****对物理的学****也有一定的影响。因此高中教师在进行物理教学时。应考 虑学生的数学基础。数学程度较好而物理程度一般的学生应更重视化学的学****br/>决策树学****是以实例为基础的归纳学****br/>决策树学****采用的是自顶向下的递归方法，决策树的每一层节点依照某一属性向 下分子节点，待分类的实例在每一节点处与该节点相关的属性进行比较，根据不 同的比较结果向响应的子节点扩展，这一过程在到达决策树的叶