文档介绍：袃1、有监督学****和无监督学****的区别膃有监督学****对具有标记的训练样本进行学****以尽可能对训练样本集外的数据进行分类预测。(LR,SVM,BP,RF,GBDT)莇无监督学****对未标记的样本进行训练学****比发现这些样本中的结构知识。(KMeans,DL)螆节2、正则化袃正则化是针对过拟合而提出的,以为在求解模型最优的是一般优化最小的经验风险,现在在该经验风险上加入模型复杂度这一项(正则化项是模型参数向量的范数),并使用一个rate比率来权衡模型复杂度与以往经验风险的权重,如果模型复杂度越高,结构化的经验风险会越大,现在的目标就变为了结构经验风险的最优化,可以防止模型训练过度复杂,有效的降低过拟合的风险。资料个人收集整理,勿做商业用途葿奥卡姆剃刀原理,能够很好的解释已知数据并且十分简单才是最好的模型。肈羆过拟合莀如果一味的去提高训练数据的预测能力,所选模型的复杂度往往会很高,这种现象称为过拟合。所表现的就是模型训练时候的误差很小,但在测试的时候误差很大。资料个人收集整理,勿做商业用途薀产生的原因过拟合原因:芆样本数据的问题。莅样本数量太少;膀抽样方法错误,抽出的样本数据不能有效足够代表业务逻辑或业务场景。比如样本符合正态分布,却按均分分布抽样,或者样本数据不能代表整体数据的分布;资料个人收集整理,、参数太多袁决策树模型没有剪枝荿权值学****迭代次数足够多(Overtraining),,。薁增加样本数量,对样本进行降维,,优先选择简单的模型,或者用模型融合技术。芇利用先验知识,添加正则项。L1正则更加容易产生稀疏解、、交叉验证肂艿不要过度训练,最优化求解时,收敛之前停止迭代。芆决策树模型没有剪枝螆权值衰减袂莀5、泛化能力蒅泛化能力是指模型对未知数据的预测能力芅薂6、:由数据学****联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)=P(X,Y)/P(X)。(朴素贝叶斯、Kmeans)资料个人收集整理,勿做商业用途螇生成模型可以还原联合概率分布p(X,Y),并且有较快的学****收敛速度,:由数据直接学****决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。(k近邻、决策树、SVM)资料个人收集整理,勿做商业用途莃直接面对预测,往往准确率较高,直接对数据在各种程度上的抽象,所以可以简化模型腿袅7、线性分类器与非线性分类器的区别以及优劣肄如果模型是参数的线性函数,并且存在线性分类面,那么就是线性分类器,否则不是。肃常见的线性分类器有:LR,贝叶斯分类,单层感知机、线性回归芀常见的非线性分类器:决策树、RF、GBDT、多层感知机芈SVM两种都有(看线性核还是高斯核)蒄线性分类器速度快、编程方便,但是可能拟合效果不会很好螄非线性分类器编程复杂,但是效果拟合能力强肈莆8、特征比数据量还大时,选择什么样的分类器?羃线性分类器,因为维度高的时候,数据一般在维度空间里面会比较稀疏,很有可能线性可分芀对于维度很高的特征,你是选择线性还是非线性分类器?聿理由同上蒅对于维度极低的特征,你是选择线性还是非线性分类器?莂非线性分类器,因为低维空间可能很多特征都跑到一起了,,跟样本数量差不多,这时候选用LR或者是LinearKernel的SVM资料个人收集整理,,样本数量一般,不算大也不算小,选用SVM+GaussianKernel资料个人收集整理,,而样本数量很多,需要手工添加一些feature变成第一种情况螁羈9、ill-condition病态问题羅训练完的模型测试样本稍作修改就会得到差别很大的结果,就是病态问题(这简直是不能用啊)蒅10、L1和L2正则的区别,如何选择L1和L2正则薁http://blog./xbmatrix/article/details/61624196资料个人收集整理,勿做商业用途聿他们都是可以防止过拟合,降低模型复杂度莈L1是在lossfunction后面加上模型参数的1范数(也就是|xi|)袄L2是在lossfunction后面加上模型参数的2范数(也就是sigma(xi^2)),注意L2范数的定义是sqrt(sigma(xi^2)),在正则项上没有添加sqrt根号是为了更