1 / 55
文档名称:

决策树ID3算法改进地研究.pdf

格式:pdf   页数:55页
下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

决策树ID3算法改进地研究.pdf

上传人:2024678321 2015/12/7 文件大小:0 KB

下载得到文件列表

决策树ID3算法改进地研究.pdf

文档介绍

文档介绍:致谢
两年半的硕士研究生生活即将走完,将要离开母校,我非常感谢所有关心和支持我的
人!
经过两年半的学****和锻炼,不仅我的学术水平得到了提高,我也养成了独立思考的****br/>惯,和独立的人格。我自身综合素质的提高离不开我的导师柴瑞敏副教授的悉心关怀和指
导。柴老师挚诚的待人之道,严谨的治学态度,独到的科学见解都对我影响颇深。本文从
选题到创作的每一个细节都离不开柴老师的辛勤帮助。在这里向她表达我真诚的谢意!
非常感谢院里各位领导、老师为我能够顺利毕业所付出的辛苦劳动。在这里要特别感
谢关昕和张永库两位副教授一直以来对我的学****工作方面给予的关心和支持。
我也要感谢在我的求学路上一直陪伴我,鼓励我的家人,是他们给了我不断锐意进取
的信心。
感谢我的室友贾珍、李翠翠和赵璐及其他关心我的好朋友,有了你们我的生活才会缤
纷多彩!感谢在创作的过程中一直陪伴着我,给予我支持和鼓励的男友姜建伟。
最后感谢各位引文的作者,是你们的肩膀让我看得更远,是你们的思想开启了我的智
慧之门,有了你们的工作,本文的创作才得以更加顺利的开展!
摘要
数据挖掘在众多领域中都发挥着不可替代的作用,一直是各国学者研究的热点。分类
是数据挖掘的一种重要的手段。ID3算法是提出最早,最经典的一种决策树分类方法。ID3
在选择分类属性时,依赖于信息熵的计算。因此,经过 ID3算法分类后,取值较多的属性
将会被选为决策树的分类节点。很多时候,这种分类情况是不符合实际的。另外, ID3算
法的计算过程含有过多的对数计算,比较复杂,而且不能够处理具有多种类别属性值的数
据集。针对 ID3的这三种不足,本文对 ID3 进行了改进,首次提出了一种新的选择分类属
性选择方法,基于麦克劳林—优先选取值的 ID3 算法( ID3 based on Maclaurin and
Priority ,MPID3 )。本文利用换底公式 log2 γ= lnγ/ ln 2 和等价无穷小代换 ln(1+≈x ) x 将
ID3算法中的对数计算进行了简化。由于简化过程会引起误差,本文通过选取合适的常数ζ
和简化后的 ID3算法计算公式相乘来补偿误差。针对 ID3算法的取值偏向问题,本文引入
了“分类属性优先选取值”进行了改进。本文对 MPID3 的性能给出了严格的理论证明。最
后,通过实验证明了 MPID3 比经典的 ID3计算方法及现有的两种计算方法在计算时间和分
类精确度方面具有优势。另外,针对样本集中某一确定属性值的记录集合为空的情况,本
文给出了自己的修改方案。

关键词:数据挖掘;分类算法;ID3;MPID3



- I -
Abstract
With the development of our society, Data Mining is playing more and more important role
in many fields. It is attracting more and more people’s attention. Classification is an important
way for Data Mining. The ID3 algorithm is the most classical and oldest classification method
based on Decision Tree. The attribution having more values will be selected as the node of
Decision Tree according to ID3 . Because the choices ID3 made relies on the value of
information entropy. However, the result is not always people want. The calculation process of
ID3 includes many logarithm operation. So its plexity is high. To e
these ings, we proposed a new classification attribution selection algorithm called
MPID3 ( ID3 based on Maclaurin and Priority ). In this paper, log2 γ= lnγ/ ln 2 and
ln(1+≈x ) x are used to sim