文档介绍：支持向量机通俗导论（理解SVM的三层境界）
作者：July、pluskid；致谢：白石。
出处：结构之法算法之道blog。
、/—＞一
前言
第一层、了解SVM
、什么是支持向量机SVM
、线性分类
、线性标进行推断某人是否得了心脏病。如作为一个医生，他可以根据他以往诊断的病例对很多个病人（假设是500个）进行彻底的临床检测之后，已经能够完全确定了哪些病人具有心脏病，哪些没有。因为，在这个诊断的过程中，医生理所当然的记录了他们的年龄，胆固醇等10多项病人的相关指标。那么，以后，医生可以根据这些临床资料，对后来新来的病人通过检测那10多项年龄、胆固醇等指标，以此就能推断或
者判定病人是否有心脏病，虽说不能达到100%的标准，但也能达到80、90%的正确率，而这一根据以往临场病例指标分析来推断新来的病例的技术，即成为分类classification技术。
OK,既然讲到了病例诊断这个例子，接下来咱们就以这个例子来简单分析下VM。
假定是否患有心脏病与病人的年龄和胆固醇水平密切相关，下表对应0个病人的临床数据年龄用［x1］表示，胆固醇水平用［x2］表示）：
病人编号
年龄Mi
胆固醇水平［Z］2
有否心脏病y
1
[a?h—60
[x)2=165
y—-1
2
[x)2=150
甘=一1
10
旳1=70
[x]2-190
这样，问题就变成了一个在二维空间上的分类问题，可以在平面直角坐标系中描述如下：根据病人的两项指标和有无心
脏病，把每个病人用一个样本点来表示，有心脏病者用“+”形点表示，无心脏病者用圆形点，如下图所示：
如此我们很明显的看到，是可以在平面上用一条直线把圆点和“+”分开来的。当然，事实上，还有很多线性不可分的情况，下文将会具体描述。
So,本文将要介绍的支持向量机SVM算法便是一种分类方法。
所谓支持向量机，顾名思义，分为两个部分了解，一什么是支持向量（简单来说，就是支持or支撑平面上把两类类别划分开来的超平面的向量点，下文将具体解释），二这里的“机”是什么意思。我先来回答第二点：这里的“机（machine,机器）”便是一个算法。在机器学****领域，常把一些算法看做是一个机器，如分类机（当然，也叫做分类器），而支持向量机本身便是一种监督式学****的方法（什么是监督学****与非监督学****请参见第一篇），它广泛的应用于统计分类以及回归分析中。
支持向量机（SVM）是90年代中期发展起来的基于统计学****理论的一种机器学****方法，通过寻求结构化风险最小来提高学****机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。
对于不想深究SVM原理的同学（比如就只想看看SVM是干嘛的），那么，了解到这里便足够了，不需上层。而对于那些喜欢深入研究一个东西的同学，甚至究其本质的，咱们则还有很长的一段路要走，万里长征，咱们开始迈第一步吧（相信你能走完）。
线性分类
OK,在讲SVM之前，咱们必须先弄清楚一个概念:线性分类器（也可以叫做感知机，这里的机表示的还是一种算法,本文第三部分、证明SVM中会详细阐述）。
这里我们考虑的是一个两类的分类问题，数据点用t来表示，这是一个n维向量，而类别用y来表示，可以取1或者-1,分别代表两个不同的类。一个线性分类器就是要在n维的数据空间中找到一个超平面，其方程可以表示为：wTt+b=0
对应的几何示意图如下:
、线性分类的一个例子
来理论可能读者看不懂，咱们来直接举一个例子吧，且举最简单的例子，一个二维平面（一个超平面，在二维空间中的例子就是一条直线），如下图所示，平面上有两种不同的点，分别用两种不同的颜色表示，一种为红颜色的点，另一种则为蓝颜色的点，红颜色的线表示一个可行的超平面。
从上图中我们可以看出，这条红颜色的线把红颜色的点和蓝颜色的点分开来了。而这条红颜色的线就是我们上面所说的超平面，也就是说，这个所谓的超平面的的确确便把这两种不同颜色的数据点分隔开来，在超平面一边的数据点所对应的y全是-1，而在另一边全是1。
接着，我们可以令分类函数（下文将一直用蓝色表示分类函数）
f（t）=wTt+b，
显然，如果f兀）=°，那么兀是位于超平面上的点我们不妨要求对于所有满足x）＜0的点，其对应的y等于-1，而/兀）＞°则对应y=l的数据点。
(有一朋友飞狗来自Mare_Desiderii，看了上面的定义之后，问道：请教一下SVMfunctionalmargin为y"=y(wTx+b)=yf(x冲的Y
是只取1和-1吗？y的唯一作用就是确保functionalmargin的非负性？真是这样的么？当然