文档介绍：决策树学****算法ID3摘要决策树算法是构造决策树来发现数据中蕴涵的分类规则,是一种逼近离散函数值的方法。如何构造精度高、规模小的决策树是决策树算法的核心内容。木文详细叙述了决策树归纳分类算法的原理及应用,同时介绍了决策树学****的核心算法ID3,并通过实例给出算法的详细过程,讨论了ID3算法的优缺点,并针对其中的缺点提出改进思想。关键词:归纳分类决策树ID3一、 决策树归纳分类1、 分类问题分类(Classification)的任务就是通过学****获得一个H标函数(TargetFunction)f,将每个属性集x映射到一个预先定义好的类标号y。分类任务的输入数据是纪录的集合,每条记录也称为实例或者样例,用元组(X,y)表示,其中,X是属性集合,y是一•个特殊的属性,指出样例的类标号(也称为分类局性或者目标属性)。分类技术是一种根据输入数据集建立分类模型的系统方法。分类技术一般是用一种学****算法确定分类模型,该模型可以很好地拟合输入数据屮类标号和属性集之间的联系。学****算法得到的模型不仅要很好拟合输入数据,还要能够正确地预测未知样木的类标号。因此,训练算法的主要H标就是耍建立具有很好的泛化能力模型,即建立能够准确地预测未知样本类标号的模型。分类方法的实例包括:决策树分类法、基于规则的分类法、神经网络、支持向量级、朴素贝叶斯分类方法等。分类问题一般包括两个步骤:1、 模型构建(归纳):通过对训练集合的归纳,建立分类模型。2、 预测应用(推论):根据建立的分类模型,对测试集合进行测试。2、 决策树的基本概念决策树是一种类似于流程图的树结构,其屮,每个内部节点(非树叶节点)表示在一个属性上的测试,每个分枝代表一个测试输出,而每个树叶节点(终结点)存放一个类标号。树的最顶层节点是根节点。决策树是一种典型的分类方法,首先对数据进行处理,利用归纳算法生成口J读的规则和决策树,然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树技术发现数据模式和规则的核心是归纳算法,归纳学****的过程就是寻找一般化描述的过程。这种一般性描述能够解释给定的输入数据,并可以用来预测新的数据。决策树分类器具有很多优点:决策树的构造不需要任何领域知识或参数设置,因此适合于探测式知识发现;决策树可以处理高维数据,推理过程完全依赖于属性变量的取值特点,可口动忽略FI标变量没有贡献的属性变量,也为判断属性变量的重要性,减少变量的数F1提供参考,同时对噪声数据具冇很好的健壮性;决策树归纳的学****和分类步骤是简单和快速的,推理过程对以表示成IfThen形式,并且具有很好的准确率;获取的知识川树的形式表示是直观的,并且容易被人理解。因而,决策树归纳分类是目询应用最广泛的归纳推理算法之一,在数据挖掘中受到研究者的广泛关注。3、决策树算法的应用决策树归纳算法己经成功地应丿IJ于许多应用领域的分类,如医学、制造和牛产、金融分析、天文学和分了生物学。决策树是许多商业规则归纳系统的基础。例如,在客户关系管理应用屮,利川决策树建立对理想客户的分析模型之前,可以将客户数据中有关客户特征的描述变量(如:年龄、年收入、学历、最近消费频率等)作为输入变虽,而将理想客户的评价变量(如:未来消费金额,是否为理想客户等)作为忖标变虽。例如,在贷款屮请屮,要对屮请的风险人小做出判断,此时建立一个决策树,并用贷款申请