文档介绍：智能决策理论与方法演示文稿
第一页，共五十一页。
优选智能决策理论与方法
第二页，共五十一页。
机器学习
机器学习是从模拟人类的学习行为出发，研究客观世界和获取各种知识与技能的一些基本方法（如归纳、泛化、特化、类比
A0
A1
A1
A2
-1
1
-1
1
-1
1
0
0
1
0
1
1
0
T2
T1
T11
T12
T111
T112
T21
T22
T
第十一页，共五十一页。
机器学习—归纳学习：决策树
ID3算法(Quinlan)：ID3算法对CLS做了两方面的改进：(1)增加窗口技术；(2)以信息熵的下降速度(信息增益)作为测试属性选择标准。
窗口技术：对于训练集很大的情形可选择其某个子集(称为窗口)构造一棵决策树，如果该决策树对训练集中的其它样本的判决效果很差，则扩大窗口，选择不能被正确判别的样本加入到窗口中，再建立一个新的决策树，重复这个过程得到最终的决策树，显然不同的初始窗口会产生不同的决策树。
第十二页，共五十一页。
机器学习—归纳学习：决策树
信息增益：设决策树根结点的样本数据为X={x1,x2,…,xn}，称X的两个训练子集PX(对应类标签为1)和NX (对应类标签为-1)为正例集和反例集，并记正例集和反例集的样本数分别为P和N，则样本空间的信息熵为
假设以随机变量A作为决策树根的测试属性，A具有k个不同的离散值v1,v2,…,vk，它将X划分为k个子集，且假设第j个子集中包含Pj个正例，Nj个反例，则第j个子集的信息熵为I(Pj,Nj)。
第十三页，共五十一页。
机器学习—归纳学习：决策树
以A为测试属性的期望信息熵为
以A为根节点的信息增益是：
Gain(A)=I(P,N)-E(A)
ID3的策略就是选择信息增益最大的属性作为测试属性。
ID3的问题：测试属性的分支越多，信息增益值越大，但输出分支多并不表示该测试属性有更好的预测效果。
第十四页，共五十一页。
机器学习—归纳学习：决策树
A0
A1
A2
A3
类
0
0
0
0
-1
0
0
0
1
-1
0
0
1
0
-1
0
0
1
1
-1
0
1
0
0
1
0
1
0
1
1
0
1
1
0
1
0
1
1
1
1
A0
A1
A2
A3
类
1
0
0
0
-1
1
0
0
1
-1
1
0
1
0
-1
1
0
1
1
-1
1
1
0
0
1
1
1
0
1
1
1
1
1
0
-1
1
1
1
1
-1
类似地，求出E(A1)，E(A2)，E(A3)。比较它们的大小，选择期望信息熵最小的属性作为根结点。依次构造子决策树，直至所有的训练样本均能够被正确分类。
第十五页，共五十一页。
机器学习—归纳学习：决策树
信息增益率：
其中：
。
生成的决策树往往过大，不利于决策时的应用，需要对其剪枝(Pruning)，请参阅相关文献。
第十六页，共五十一页。
机器学习—神经网络
神经网络(Artificial Neural Networks)是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应()。
神经网络分为前向型、反馈型、随机型以及自组织型。我们重点介绍一下前向型网络及其学习算法。
第十七页，共五十一页。
基本神经元及感知机模型：
机器学习—神经网络
wj1
wji
wjn
yj
f(iwijxi-j)
x1
xi
xn
第十八页，共五十一页。
机器学习—神经网络
神经元函数f的选择
线性函数：f(x)=x
带限的线性函数：为最大输出。
阈值型函数：
sigmoid函数：
第十九页，共五十一页。
机器学习—神经网络
感知机学习算法：(选取f为阈值函数，学习权值向量w)
(1)初始化：将权值向量和阈值赋予随机量，t=0
(2)连接权的修正：设训练样本的输入为x1,..., xi,...,xn，期望输出为yj，进行如下计算：
计算网络输出：y(t)= f(iwij(t)xi(t)-j(t))
计算期望输出与实际输出的误差：e(t)=yj-y(t)
若e=0，则说明当前样本输出正确，不必更新权值，否则更新权值和阈值
wij(t+1)= wij(t)+yjxi(t)；j(t+1)