文档介绍：-
. z.
1、有监视学****和无监视学****的区别
有监 z.
训练完的模型测试样本稍作修改就会得到差异很大的结果，就是病态问题〔这简直是不能用啊〕
10、L1和L2正则的区别，如何选择L1和L2正则
他们都是可以防止过拟合，降低模型复杂度
L1是在loss function后面加上 模型参数的1*数〔也就是|*i|〕
L2是在loss function后面加上 模型参数的2*数〔也就是sigma(*i^2)〕，注意L2*数的定义是sqrt(sigma(*i^2))，在正则项上没有添加sqrt根号是为了更加容易优化
L1 会产生稀疏的特征
L2 会产生更多地特征但是都会接近于0
L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。L1在特征选择时候非常有用，而L2就只是一种规则化而已。
L1求解
最小角回归算法：LARS算法
11、越小的参数说明模型越简单
过拟合的，拟合会经过曲面的每个点，也就是说在较小的区间里面可能会有较大的曲率，这里的导数就是很大，线性模型里面的权值就是导数，所以越小的参数说明模型越简单。
12、为什么一些机器学****模型需要对数据进展归一化？
归一化化就是要把你需要处理的数据经过处理后〔通过*种算法〕限制在你需要的一定*围内。
1〕归一化后加快了梯度下降求最优解的速度。等高线变得显得圆滑，在梯度下降进展求解时能较快的收敛。如果不做归一化，梯度下降过程容易走之字，很难收敛甚至不能收敛
2〕把有量纲表达式变为无量纲表达式, 有可能提高精度。一些分类器需要计算样本之间的距离〔如欧氏距离〕，例如KNN。如果一个特征值域*围非常大，则距离计算就主要取决于这个特征，从而与实际情况相悖〔比方这时实际情况是值域*围小的特征更重要〕
-
. z.
3) 逻辑回归等模型先验假设数据服从正态分布。
哪些机器学****算法不需要做归一化处理？
概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、rf。而像adaboost、gbdt、*gboost、svm、lr、KNN、KMeans之类的最优化问题就需要归一化。
特征向量的归一化方法
线性函数转换，表达式如下：y=(*-MinValue)/(Ma*Value-MinValue)
对数函数转换，表达式如下：y=log10 (*)
反余切函数转换 ，表达式如下：y=arctan(*)*2/PI
减去均值，乘以方差：y=(*-means)/ variance
标准化与归一化的区别
简单来说，标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为"单位向量〞。规则为l2的归一化公式如下：
13、特征向量的缺失值处理
1. ，否则可能反倒会带入较大的noise，对结果造成不良影响。
2. 缺失值较少,其余的特征缺失值都在10%以内，我们可以采取很多的方式来处理:
1) 把NaN直接作为一个特征，假设用0表示；
2) 用均值填充；
-
. z.
3) 用随机森林等算法预测填充
随机森林如何处理缺失值〔-Forest-Tricks/〕
方法一〔*〕简单粗暴，对于训练集,同一个class下的数据，如果是分类变量缺失，用众数补上，如果是连续型变量缺失，用中位数补。
方法二〔rfImpute〕这个方法计算量大，至于比方法一好坏？不好判断。*补上缺失值，然后构建森林并计算pro*imity matri*，再回头看缺失值，如果是分类变量，则用没有缺失的观测实例的pro*imity中的权重进展投票。如果是连续型变量，则用