文档介绍：基础算法学****总结
朴素贝叶斯学****br/>算法简介
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯 分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。
从数学角度来说，分类问题可做如下定义 果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前 面讨论的公式可以由程序自动计算完成。
第三阶段一一应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入 是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由 程序完成。
特征属性划分的条件概率及Laplace校准
由上文看出，计算各个划分的条件概率P(a|y)是朴素贝叶斯分类的关键性步骤，当特 征属性为离散值时，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可 用来估计P(a|y)，下面重点讨论特征属性是连续值的情况。
当特征属性为连续值时，通常假定其值服从高斯分布(也称正态分布)。即：
1 _ (x_[[ )2
g (x,n Q) = e _ 2。2
而P(a I y ) = g(ak，耳Q )因此只要计算出训练样本中各个类别中此特征项划分的各均 k ° yi yi
值和标准差，代入上述公式即可得到需要的估计值。
另一个需要讨论的问题就是当 P(a|y)=0 怎么办，当某个类别下某个特征项划分没有出 现时，就是产生这种现象，这会令分类器质量大大降低。为了解决这个问题，我们引入 Laplace 校准，它的思想非常简单，就是对没类别下所有划分的计数加1，这样如果训练样 本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0 的尴尬局面。
算法小结
朴素贝叶斯算法的主要原理基本已经做了总结，这里对朴素贝叶斯的优缺点做一个总 结。
朴素贝叶斯的主要优点有：
朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
对小规模的数据表现很好，能够处理多分类任务，适合增量式训练，尤其是数据量 超出内存时，我们可以一批批的去增量训练。
对缺失数据不太敏感，算法也比较简单，常用于文本分类。
朴素贝叶斯的主要缺点有：
1） 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并 非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往 往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性 相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过 考虑部分关联性适度改进。
2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种， 因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一 定的错误率。
4）对输入数据的表达形式很敏感。
决策树算法学****br/>算法简介
决策树是一种通过对历史数据进行测算实现对新数据进行分类和预测的算法。简单来 说决策树算法就是通过对已有明确结果的历史数据进行分析，寻找数据中的特征。并以此 为依据对新产生的数据结果进行预测。决策树（decision tree）是一个树结构（可以是二叉 树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这