文档介绍：浅谈决策树分类算法及其应用
黄璐摘要：本文主要讨论了数据挖掘中决策树的相关知识，详细介绍了决策树的定义、功能、算法等，最后结合实例简单的介绍了其在各个领域中的应用和发展等问题。
关键字：数据挖掘；决策树；分类器；ID3算法；
D14
Rain
Mild
High
Strong
No
p：piaytenns=“yes”
n:Piayten血答“no”np!esforthetargetconceptPlayTermis,
I(p,n)=1(9,5)=-(9/14)log2(9/14)-(5/14)log2(5/14)=
Outlook节点上对应sunny、overcast和rainyde的YES和NO的实例数量分别是【2，3】、【4，0】和【3，2】，这这些节点上的信息值分别为：
sunny：I(p,n)=1(2，3)=
overcast：I(p,n)=1(4，0)=，
rainy：I(p,n)=1(3，2)=
它们的平均信息是：E(outlook)=5/+4/14X0+5/=，Gain(I,outlook)=I(p,n)-E(outlook)=-=。同理可得
Gain(I,outlook)=
Gain(s,humidity)=
Gain(s,wind)=
Gain(s,temperature)=
由上可知在4个基本属性中，阴晴的信息值最大，所以根节点选择阴晴作为分裂属性。
接着继续进行递归过程，得
Gain(sunnys,humidity)=
Gain(sunny,wind)=
Gain(sunny,temperature)=，在随之产生的子节点上并不需要进一步分裂，所以这个分支就结束了。同理分析后可以得到最终的树形图，如下。
我们可以很容易的将决策树转换成IF-THEN分类规则形式，它同样的易于被人们理解。从决策树的根节点到叶节点的每条路经就构成一条分类规则，通过上图我们可以提取出对应的IF-THEN分类规则：
IFoutlook=“sunny”，ANDhumidity=“high”，THENPlayTennis=No
IFoutlook=“sulmy”，ANDhumidity=“normal”，THENPlayTennis=Yes
IFoutlook=“overcast”，THENPlayTennis=Yes
IFoutlook=“rain”，ANDwindy=“strong”，THENPlayTennis=No
IFoutlook=“rain”，ANDwindy=“weak”，THENPlayTeunis=Yes
在WEKA软件中使用ID3算法实验上述例子，有如下结果：
out-look=si-umy
Ihi-iniiiiitLy=high:no
IhmaiditLy=normal:yes
outlouk=overcast:Yesoutlook=rainy
Iwindy=TRUE:no