文档介绍：onceptReceiveroperatingcharacteristic(ROC)paringtwoclassificationmodels.(比较两个分类模型有用的可视化工具)Thecurveiscreatedbyplottingthetruepositiverate(TPR)againstthefalsepositiverate(FPR)atvariousthresholdsettings.(ROC曲线显示了真正例和假正例之间的权衡)oncepttruepositive(TP真正例)诊断为有,(TN真负例)诊断为没有,(FP假正例)诊断为有,,TypeIerrorfalsenegative(FN假负例)诊断为没有,,onceptsensitivityortruepositiverate(TPR),recall在所有实际为阳性的样本中,被正确地判断为阳性之比率fall-outorfalsepositiverate(FPR)X轴在所有实际为阴性的样本中,(column3)lassifierforeachofthe10tuplesinatestset,,,,hevaluesoftheremainingcolumns,TP,FP,TN,FN,TPR,,whichhasthehighestprobabilityscore,andtakethatscoreasourthreshold,thatis,.Thus,theclassifierconsiderstuple1tobepositive,,wehaveatruepositive,,whichareallclassifiedasnegative,fiveactuallyarenegative(thus,).Theremainingfourareallactuallypositive,thus,.pute,,,lassifier.(元组按递减得分排序,其中得分是概率分类器的返回值)对于二类问题,选择阈值t,使得f(X)>=t的元组X视为正,urveTherearemanymethodstoobtainacurveoutofthesepoints,,,thislinerepresentsrandomguessing(许多方法可以从这些点得到凸包。该图现实的对角线,对模型的每个真正例元组,都恰好遇到一个假正例,为了比较,这条直线代表随机猜测).峰败奴除助揉打模谎染作谱桥钡亢铝夏吧拧根蚁仙狠据汤询厚驳渡帛瞅氢ROC曲线ROC曲线AUCtrapezoidmethod简单地将每个相邻的点以直线连接,计算连线下方的总面积。因为每一线段下方都是一个梯形,所以叫梯形法。优点:简单,所以常用。缺点:倾向于低估AUC。ROCAUCHAUCofROC是机器学****的社群最常使用来比较不同模型优劣的方法。然而近来这个做法开始受到质疑,因为有些机器学****的研究指出,AUC的噪声太多,并且很常求不出可信又有效的AUC值,使得AUC在模型比较时产生的问题比解释的问题更多。uracyofamode