文档介绍：该【支持向量机的数学原理(1)公开课一等奖课件赛课获奖课件 】是由【读书百遍】上传分享，文档一共【64】页，该文档可以免费在线阅读，需要了解更多关于【支持向量机的数学原理(1)公开课一等奖课件赛课获奖课件 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。支持向量机（1）
线性支持向量机的求解
重庆大学 余俊良
什么是支持向量机
在右图中A图表达有两类的数据集，图B,C,D都提供了一种线性分类器来对数据进行分类？不过哪个效果好某些？
什么是支持向量机
支持向量机（SVM）是90年代中期发展起来的基于记录学习理论的一种机器学习措施，通过寻求构造化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在记录样本量较少的状况下，亦能获得良好记录规律的目的。在深度学习出现之前，SVM一直霸占着机器学习老大哥的位子。他的理论很优美，多种变种改善版本也诸多，例如latent-SVM, structural-SVM等。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习方略便是间隔最大化，最终可转化为一种凸二次规划问题的求解。支持向量机的学习算法是求解凸二次规划的最优化算法。
什么是支持向量机
支持向量机学习措施包含构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化，学习一种线性的分类器，即线性可分支持向量机；当训练数据近似可分时，通过软间隔最大化，也学习一种线性的分类器，即线性支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
第一部分
线性可分支持向量机 与
硬间隔最大化
线性可分支持向量机
下面举个简单的例子，一种二维平面(一种超平面，在二维空间中的例子就是一条直线)，如下图所示，平面上有两种不一样的点，分别用两种不一样的颜色表达，一种为红颜色的点，另一种则为蓝颜色的点，红颜色的线表达一种可行的超平面。
从右图中我们可以看出，这条红颜色的线把红颜色的点和蓝颜色的点分开来了。而这条红颜色的线就是我们上面所说的超平面，也就是说，这个所谓的超平面的确实确便把这两种不一样颜色的数据点分隔开来，在超平面一边的数据点所对应的 y 全是 -1 ，而在另一边全是 1 。
线性可分支持向量机
接着，我们可以令分类函数：
显然，假如 f(x)=0 ，那么 x 是位于超平面上的点。我们不妨规定对于所有满足 f(x)<0 的点，其对应的 y 等于 -1 ，而 f(x)>0 则对应 y=1 的数据点。
  当然，有些时候，或者说大部分时候数据并不是线性可分的，这个时候满足这样条件的超平面就主线不存在(不过有关怎样处理这样的问题我们背面会讲)，这里先从最简单的情形开始推导，就假设数据都是线性可分的，亦即这样的超平面是存在的。
线性可分支持向量机
怎样确定分类函数
中的两个参数w和b？
寻找两条边界端或极端划分直线中间的最大间隔（之因此要寻最大间隔是为了能更好的划分不一样类的点），从而确定最终的最大间隔分类超平面和分类函数；进而把寻求分类函数 的问题转化为对w，b的最优化问题。
函数间隔
一般而言，一种点距离超平面的远近可以表达为分类预测确实信或精确程度。
在超平面w*x+b=0确定的状况下，|w*x+b|可以相对的表达点x到距离超平面的远近，而w*x+b的符号与类标识y的符号与否一致表达分类与否对的，因此，可以用量y*(w*x+b)的正负性来判定或表达分类的对的性和确信度。
于此，我们便引出了定义样本到分类间隔距离的函数间隔functional margin的概念。我们定义函数间隔functional margin 为： 
定义超平面(w，b)有关训练数据集T的函数间隔为超平面(w，b)有关T中所有样本点(xi，yi)的函数间隔最小值，其中，x是特征，y是成果标签，i表达第i个样本，有：
几何间隔
函数间隔虽然可以表达分类预测的对的性和确信度，但在选择分类超平面时，只有函数间隔还远远不够，由于假如成比例的变化w和b，如将他们变化为2w和2b，虽然此时超平面没有变化，但函数间隔的值f(x)却变成了本来的2倍。其实，我们可以对法向量w加些约束条件，使其表面上看起来规范化，如此，我们很快又将引出真正定义点到超平面的距离--几何间隔的概念。
对于给定的训练数据集T和超平面（w,b），定义超平面有关样本点(x,y)的几何间隔为：
定义超平面(w，b)有关训练数据集T的几何间隔为超平面(w,b)有关T中所有样本点(xi，yi)的几何间隔最小值，
r = min ri (i=1,2,…n)