文档介绍：该【数据挖掘模型评估】是由【niuwk】上传分享，文档一共【42】页，该文档可以免费在线阅读，需要了解更多关于【数据挖掘模型评估】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。一、评估分类法的准确率
1
评估分类法准确率的技术有保持(holdout)和k-折交叉确认(k-foldcross-validation)方法。
另外,还有两种提供分类法准确率的策略:装袋(bagging)和推进(boosting)。
1、保持和k-折交叉
在保持方法中,给定数据随机划分成两个独立的集合:训练集和测试集。通常,三分之二的数据分配到训练集,其余三分之一分配到训练集。
第1页/共42页
2
“保持”这种评估方法是保守的,因为只有一部分初始数据用于导出的分类法。
随机子选样是“保持”方法的一种变形,它将“保持”方法重复k次。总体准确率估计取每次迭代准确率的平均值。
第2页/共42页
K—折交叉确认
在k—折交叉确认(k—foldcross—validation)中,初试数据被划分成k个互不相交的子集或“折”,每个折的大小大致相等。训练和测试k次。在第i次迭代,第i折用作测试集,其余的子集都用于训练分类法。
准确率估计是k次迭代正确分类数除以初始数据中的样本总数。
3
第3页/共42页
2、提高分类法的准确率
4
装袋
第4页/共42页
5
推进
即使用相同的分类器,各个分类器不是独立的;使用同一个算法对样本迭代训练,后建立的分类器关注于先前建立的分类器不能更好处理的部分数据;最终的输出为各个分类器的加权投票。
第5页/共42页
3、灵敏性和特效性度量
假定你已经训练了一个分类法,将医疗数据分类为“cancer”或“non_cancer”。90%的准确率使得该分类法看上去相当准确,但是如果实际只有3—4%的训练样本是“cancer”会怎么样?
显然,90%的准确率是不能接受的——该分类法只能正确的标记“non_cancer”(称作负样本)样本。但我们希望评估该分类能够识别“cancer”(称作正样本)的情况。
6
第6页/共42页
为此,除用准确率评价分类模型外,还需要使用灵敏性(sensitivity)和特效性(specificity)度量。
还可以使用精度(precision)来度量,即评估标记为“cancer”,实际是“cancer”的样本百分比。
7
第7页/共42页
其中,t_pos是真正样本(被正确地按此分类的“cancer”样本)数,pos是正(“cancer”)样本数,
t_neg是真负样本(被正确地按此分类的“non_cancer”样本)数,neg是负(“non_cancer”)样本数,
而f_pos假正样本(被错误地标记为“cancer”的“non_cancer”样本)数
8
灵敏性
特效性
精度
第8页/共42页
9
预测值
1(实际“cancer”)
0(实际no_cancer)
1(预测“cancer”)
0
0
0(预测“no_cancer”)
10
90
第9页/共42页
二、数据挖掘模型评估的错误观念
传统评估分类预测模型时,通常使用的是“准确度”。它的功能是评估模型分类实物是否正确。准确度越高模型就越好。
但事实上,这样评估出来的模型并不是最好的。
10
第10页/共42页