文档介绍：SVM以及RVM学****报告
一．支持向量机
支持向量机是一种机器学****方法，以统计学****理论的 VC 维理论和结构风险最小化原则为基础。所以要首先理解 VC 维和结构风险最小化原则这两个概念。
VC 维就是一种含有特殊含义的维数，可以联我y ={+}能被一个超平面 H : w - x + b = 0 没有
i i i i
错误地分开，并且离超平面最近的向量与超平面之间的距离是最大的，该平面就成为最优超平面。两个标准超平面H : w - x + b = +1和H : w - x + b = -1，这两个
1 2 超平面过离分类超平面的距离最小的样本点，其中在这两个标准超平面上的点成为支持向1量，起支撑作用，故而得名。然后就是，标准超平面到分类超平面的距离就是祠。好的，要想分类间隔最大，那么就使这个距离最大就行了。然后就是，可能是为了后面的一系列求解的方便吧，就转换成求IIWI2 = WTW的最小值。当然了，还有约束条件的，那就是，两个标准平面之间是不能有样本向量的，那么用数学式子表示就是：
{w - x + b > +1, y = +1 w - ji + b < -1, yl = -1 ii
合起来写就是y [(w-x ) + b] -1 > 0,i = 1,2, ,n。现在的情况是，有了目标函数，
ii
有了约束条件，要求目标函数的最小值，实际上更需要的是求出最优解对应的 w。
然后书上书这是一个凸二次规划问题，求解可通过解拉格朗日函数获得，这个拉
• • ・
格朗日函数如下：
L(w,b,a)= — wtw — 才 a {y [w-x + b ]-1}
2 i i i
i=1
式中， a > 0 为拉格朗日乘子。然后就是经过求导，对偶二次规划，求得最优
i
的a *，跟着就可以求得w,b。那么就可以确定这个分类超平面了再用符号函数换
i
成分类函数形式就可以了。对于有限的样本，支持向量的地位尤为重要，对于不是标准平面上的向量，随便移动，只要不移动到两个标准平面之间就可以，结果是对分类没有影响的。书中说体现了其稀疏性。
根据以上同样的方法也就可以求得广义线性支持向量机，至于引入广义支持
向量机是因为对于线性不可分和噪声的情况，线性可分支持向量机并不能完全获得期望风险最小，甚至是过学****过学****就是推广能力差的意思吧。这就是说，比如对于一个样本，其中的某些向量由于噪声等原因偏离了本来最优的分类范围如果在未知的情况下，再分类，会导致结果与原来有很大的偏差。也就偏离了本来真实的情况。因此引入非负松变量
g ,与上面的线性支持向量机相比，相当于
i
缩小了分类间隔。在目标函数一式子中还引入了规则化C，用于对经验风险和置信风险进行折中。这也是因为引入了松弛变量而引入了经验风险的缘故吧。
非线性支持向量机的实现思想是，既然在现有的vc维不行，就将输入空间映射到一个新的高维空间，然后在此高维空间使用线性支持向量机进行分类。想起了上述在阐述vc维过程中提到的例子，就是二维空间的线性分类器不能够线性划分平面上的四个点，那么可以通过映射到三维空间，用三维空间线性分类器对四个点进行划分。由于高维特征空间计算复杂的问题，引入核函数，在求解过程中，发现这个核函数就是映射函数的内积，即