文档介绍：数学之路⑶-机器学习(3)-机器学习算法-SVM[1]
分类：智能与数学2013-07-1020:38450人阅读评论(0)收藏举报
数学SVM
SVM支持向量机
我们考虑以下形式的样本点超平面的数学形式可以写作
W-X・=I」。/3*3人(1/2)
1/3*3人(1/2)
-1/3*3人(1/2)
-1/3*3人(1/2)
因此，f(x,y)的最小值为-
寻找最佳超平面这个问题就变成了在(1)(quadraticprogramming)最优化中的问题。
更清楚的表示:
INI2
最小化2，满足匚皿rk兰一其中•=：……八
1/2这个因子是为了数学上表达的方便加上的。
解如上问题通常的想法可能是使用非负拉格朗日乘数门；于下式
1仇
mjn{-||w||2-^^[cifwxi-b)-1]}
w,Qi=i
：假如我们能找到一族超平面将这些点分割开来；那么所有的Xik-上门因此我们可能通过将所有⑴趋向一乂得到最小值，此最小值对这一族内所有成员都有效，而不是解决原问题的最优解。
不过以前的约束问题可以表示为
minmax
w3t?a
{j|w『—”—b)—1]}
1=1
此式表明我们寻找一个鞍点。这样所有可以被swK“-少°分离的点就无
关紧要了，因为我们必须设置相应的4为零。
这个问题现在可以用标准二次规划技术标准和程序解决。结论可以表示为如下训练向量的线性组合
只有很少的门:，这些支持向量在边缘上并且满足m•XiA=由此可以推导出支持向量也满
足：wrn=一：厂：=n=W■Xj「:因此允许定义偏移量：实际上此支持向量比一般'的支持向量鲁棒性更强：
1995年,CorinnaCortes与Vapnik提出了一种改进的最大间隔区方法，这种方法可以处理标记错误的样本。如果可区分正负例的超平面不存在，则'软边界”将选择一个超平面尽可能清晰地区分样本，同时使其与分界最清晰的样本的距离最大化。这一成果使术语
“支持向量机”(或“SVM”)得到推广。这种方法引入了松驰参数r；以衡量对数据；:的误分类度。
■■-■'Av■Xj⑺上】I；】二；二和[2：。
随后，将目标函数与一个针对非0:的惩罚函数相加，在增大间距和缩小错误惩罚两大
目标之间进行权衡优化。如果惩罚函数是一个线性函数，则等式(3)变形为
min||w||2+C才&
subjectto•冯一b)>1—&
数学之路⑶-机器学习(3)-机器学习算法-SVM[2]
分类：智能与数学2013-07-1022:45381人阅读评论(0)收藏举报
机器学习
如图所示，两种颜色的点分别代表两个类别，红颜色的线表示一个可行的超平面。在进行分类的时候，我们将数据点x代入f(x)中，如果得到的结果小于0，则赋予其类别-1,如果大于0则赋予类别1。如果f(x)=0，则很难办了，分到哪一类都不是。事实上，对于fx)的绝对值很小的情况，我们都很难处理，因为细微的变动(比如超平面稍微转一个小角度)就有可能导致结果类别的改变。理想情况下，我们希望几兀)的值都是很大的正数或者很小的负数，这样我们就能更加确信它是属于其中某一类别的。
从几何直观上来说，由于超平面是用于分隔两类数据的，越接近超平面的点越难〃分隔，因为如果超平面稍微转动一下，它们就有可能跑到另一边去。反之，如果是距离超平面很远的点，例如图中的右上角或者左下角的点，则很容易分辩出其类别。
实际上这两个Criteria是互通的，我们定义functionalmargin
为Y=y(wTx+b)=yf(x)，注意前面乘上类别y之后可以保证这个margin的非负性(因为fx)<°对应于y=-1的那些点)，而点到超平面的距离定义为geometricalmargin。不妨来看看二者之间的关系。如图所示，对于一个点x，令其垂直投影到超平面上的对应的为X0，由于W是垂直于超平面的一个向量(请自行验证)，我们有
x=x0+yw〃w〃
又由于x0是超平面上的点，满足几兀0)=°，代入超平面的方程即可算出
Y=WjX+b〃w//=f(x)/hw〃
不过，这里的Y是带符号的，我们需要的只是它的绝对值，因此类似地，也乘上对应的类
别y即可，因此实际上我们定义geometricalmargin为：
Y~=yY=Y^//w〃
显然，functionalmargin和geometricalmargin相差一个〃w〃的缩放因子。按照我们
前面的分析，对一个数据点进行分类，当它的margin越大的时候，分类的confidence越大。对于