文档介绍：: .
译文 第 8 卷 千的新算法发表出来。避
＊ 本文译自Communications of the ACM 2012年第10期的“A Few Useful Things to Know About Machine Learning”
一文。
74第 8 卷 第11 期 2012 年 11 月
免迷失在这么多算法中的关键 例中出现最多的类别作为该测 对应不同的类别。算法1展示了
是，要认识到这些算法都是由三 试样例的类别。超平面方法会为 一个极简单的二分类决策树学****br/>个部分组成的，分别是： 每一个类别构造一个特征的线性 器，其中使用了信息增益（infor-
表示（Representation） 组合，并将得分最高的组合所对 mation gain）和贪心搜索（greedy
[20]
一个分类器必须用计算机可以处 应的类别作为预测结果。决策树 search） 。InfoGain(xj, y)表示特
理的某种形式语言来表示。反过 方法会在树上的每个内部节点测 征x j与类别y之间的互信息（mu-
来讲，为学****器选择一种表示， 试一个特征，每个特征值会对应 tual information）。MakeNode(x,
就意味选择一个特定的分类器集 一个分支，而不同的叶子节点会 c 0, c 1)会返回一个测试特征x的节
合。学****器可能学出的分类器只 表1 机器学****算法的三个组成部分
能在这个集合中。这个集合被称 表 示 评 价 优 化
hypothesis
为学****器的假设空间（ 基于实例的方法 准确/错误比率 组合优化
space）。如果某个分类器不在该
近邻方法 精确率和召回率 贪心搜索
空间中，它就不可能被该学****器
支持向量机 平方误差 柱搜索
学到。与此相关的一个问题是如
超平面方法 似然（likelihood） 分支界限法
何表示输入，即使用哪些特征，
本文稍后介绍。 朴素贝叶斯 后验概率 连续优化
评价（Evaluation） 我 逻辑斯蒂回归 信息增益 无约束
们需要一个评价函数（亦称为目 决策树方法 K-L距离 梯度下降
标函数或打分函数）来判断分类 规则集的方法 成本/效用 共轭梯度
器的优劣。机器学****算法内部使