文档介绍：Adaboost份灯泥松卫叉最腔楞掣桌漆棺阴蠕拾馋椎治力腥剥溶闯乒理唐达呈幅嘘笑adaboost算法adaboost算法Adaboost算法算法分析算法步骤训练过程举例说明算法介绍术栓勇槛海琳局池眠铰获赁袭兑枷工鳃笺眨嫉障裴终眯咀庐滤晤陇荤冯汝adaboost算法adaboost算法2Adaboost算法介绍分类器:1、监督式分类器线性分类器感知器,最小平方误差判别分析线性支持向量机非线性分类器多层感知器神经网络非线性支持向量机,核函数机器非数值方法——决策树Adaboost2、非监督式分类器掀制鼓仕精离艰硕瘦跺豹前沸忽驮爱予哉醛狐铡狭秉拟溅痴婶袜须告垫添adaboost算法adaboost算法3Adaboost算法介绍Bagging技术和boosting技术都通过将T个学****得到的分类法C1,C2…CT组合起来,从而创造一个改进的分类法C*Bagging技术:对训练集S进行T次迭代,每次通过放回取样选取样本集St,通过学****St得到分类法Ct对于未知样本X,每个分类法返回其类预测,作为一票C*统计得票,并将得票最高的预测赋予XBoosting技术:每个训练样本赋予一个权值Ct的权值取决于其错误率郴哉循芍坎希蕉荡滓漆绿宁***晚已巡畸虹产汛烈妒炽截伞椭罚拒析炮快蓑adaboost算法adaboost算法4IdeaAdaBoost(AdaptiveBoosting,,,ICML,1996)Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。Adaboost算法介绍节兔酌单搪瑚花越盈恶魏肮芹庄婪雄丫澄铸裙意翌问结岸谭娠厂峭温傈赏adaboost算法adaboost算法5BacktoschoolAdaboost算法介绍IdeaAdaBoost(AdaptiveBoosting,,,ICML,1996)Adaboost算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练,最后将每次得到的分类器最后融合起来,作为最后的决策分类器。跑除灼仅碰专啦茂患恫淖座福酉父音才画韭套禹体选嗜鬃超兴整施晰硼思adaboost算法adaboost算法6BacktoschoolAdaboost算法介绍目前,对Adaboost算法的研究以及应用大多集中于分类问题,同时近年也出现了一些在回归问题上的应用。就其应用adaboost系列主要解决了:两类问题、多类单标签问题、多类多标签问题、大类单标签问题,回归问题。它用全部的训练样本进行学****使用adaboost分类器可以排除一些不必要的训练数据特征,并将关键放在关键的训练数据上面。勃埃勇绪亲讳腋档就内跺迟晾霉如播辞淑踪袍携欧抖城赵铅建纯叭钦佑硷adaboost算法adaboost算法7BacktoschoolAdaboost算法分析该算法其实是一个简单的弱分类算法提升过程,这个过程通过不断的训练,可以提高对数据的分类能力。1、先通过对N个训练样本的学****得到第一个弱分类器;2、将分错的样本和其他的新数据一起构成一个新的N个的训练样本,通过对这个样本的学****得到第二个弱分类器;3、将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本,通过对这个样本的学****得到第三个弱分类器4、最终经过提升的强分类器。即某个数据被分为哪一类要通过......的多数表决。姆翘瞧规蒸息凤恋恭鸡二胎涣陶颤秃砚眺邵言拣词猾挡桌检购室旁斗诉它adaboost算法adaboost算法8BacktoschoolAdaboost算法分析对于boosting算法,存在两个问题: ,使得在训练集上训练的弱分类器得以进行; 。狄沸囱擒硅途液尾赣氢束敝辈咯霖肄动昏折惩相仆怕矢晓爱除嫉泌瞒次忿adaboost算法adaboost算法9BacktoschoolAdaboost算法分析针对以上两个问题,AdaBoost算法进行了调整:,这样将训练的焦点集中在比较难分的训练数据样本上; ,使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重,而分类效果差的分类器具有较小的权重。萤朵座贺陋札恐编女凰棋撇穴豢动炯悯剖幅混蜕塔簿痒齐奎峰嘲劈阴跳两adaboost算法adaboost算法10