决策树ID3算法研究.docx

文档介绍：决策树ID3算法研究
杜威铭　冉羽
【摘要】用于分类的数据挖掘技术的方法有很多，在这些方法中决策树凭借其易理解、效率高等优点而占有重要地位。ID3算法是决策树构造方法中最为常用的实现方法，它在数据分类和预测领域得到广泛应用。本文重点总结了决策树方法中的ID3算法的研究现状，在详细介绍ID3算法原理、算法性能的根底上，总结了ID3算法以及给出了ID3算法的改进算法。
【关键词】数据挖掘；ID3算法；ID3优化算法；决策树
中图分类号：TP181文献标识码：A文章编号：2095-2457〔2021〕11-0145-002
DOI： -
【Abstract】Therearemanymethodsusedtocategorizedataminingtechniques，，，applicationexampleandalgorithmperformance，thispapersummarizestheID3algorithmandtheimprovedalgorithmofID3algorithm.
【Keywords】Datamining；ID3algorithm；ID3optimizationalgorithm；Decisiontree
0绪论
随着软硬件技术的开展，数据库技术也经历了屡次演变，在信息数据量剧增的环境下，对于海量的数据以及数据背后的隐藏信息，我们期望通过更高层次的方法，寻找出模型与规那么，帮助我们利用数据进行分析与决策。因此，数据挖掘技术应运而生并越发受人重视，高校、研究所與公司在该方面的研究也做了很大的投入。决策树【1】方法作为数据挖掘中的一种重要的方法，也受到了诸多关注。下面将介绍决策树方法中的ID3【2】〔InteractiveDichotomicVersion3〕算法。
1ID3算法研究

J·RossQuinlan等人在1986年提出ID3算法。其核心是“信息熵〞，在创立决策树的过程中，依次查询样本集合中的每个属性，选取出具有最大信息增益值的属性，将该属性作为测试属性与划分标准。通过该标准将原始数据集合划分成多个更纯的子集，并在每个子集中重复这个过程，直到分支子集中的所有样本无法继续分割，即样例属性属于同一类别，此时一棵决策树便创立完成。

ID3算法原理包含了信息论【3】中的信息熵和信息增益。信息熵作为属性类别的不纯性