随机森林算法.ppt

文档介绍：随机森林算法
目录
随机森林算法
决策树的生长
投票过程
基于随机森林算法的故障诊断
随机森林算法
简单地说，随机森林就是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进展一下判断，看看这个样本应该属于哪一类〔对于分类算法〕，然后看看哪一类被选择最多，就预测这个样本为那一类。
随机森林算法主要包括决策树的生长和投票过程
决策树的生长
生长步骤：
决策树的生长
3、分类树为了到达低偏差和高差异而要充分生长，使每个节点的不纯度到达最小，不进展通常的剪枝操作。
投票过程
根本思想:
给定一个弱学****算法,和一个训练集;
单个弱学****算法准确率不高;
将该学****算法使用屡次,得出预测函数序列,进展投票;
最后结果准确率将得到提高.
投票过程
随机森林采用Bagging方法生成多个决策树分类器。
投票过程
算法:
For t = 1, 2, …, T Do
从数据集S中取样〔放回选样〕
训练得到模型Ht
对未知样本X分类时,每个模型Ht都得出一个分类，得票最高的即为未知样本X的分类
也可通过得票的平均值用于连续值的预测
投票过程
…
C1
C2
CT
train
train
train
…
x
c1(x)
c2(x)
cT(x)
C*
c*(x) = maxcntt ct(x)
S1
S2
ST
投票过程
随机森林投票算法公式：
数据
C1
C2
Ct
组合得票
新数据
样本
类预测
···
投票过程