文档介绍：人工智能课程项目报告
姓名： ******
班级：**************
目录
一、实验背景 1
二、实验目的 1
三、实验原理 1
： 1
： 4
： 7
SMO算法： 8
四、实验内容 10
五、实验结果与分析 12
实验环境与工具 12
实验数据集与参数设置 12
评估标准 12
实验结果与分析 12
一、实验背景
本学期学****了高级人工智能课程，对人工智能的各方面知识有了新的认识和了解。为了更好的深入学****人工智能的相关知识，决定以数据挖掘与机器学****的基础算法为研究对象，进行算法的研究与实现。
在数据挖掘的各种算法中，有一种分类算法的分类效果，在大多数情况下都非常的好，它就是支持向量机（SVM）算法。这种算法的理论基础强，有着严格的推导论证，是研究和学****数据挖掘算法的很好的切入点。
二、实验目的
对SVM算法进行研究与实现，掌握理论推导过程，培养严谨治学的科研态度。
三、实验原理
支持向量机基本上是最好的有监督学****算法。SVM由Vapnik首先提出(Boser,Guyon and Vapnik,1992;Cortes and Vapnik,1995;Vapnik, 1995,1998)。它的主要思想是建立一个超平面作为决策曲面,使得正例和反例之间的隔离边缘被最大化。
SVM的优点:
(能够在各种函数集中构造函数)
(不需要微调)
(在解决实际问题中属于最好的方法之一)
(方法的实现只需要利用简单的优化技术)
(基于VC推广理论的框架)
：
首先讨论线性可分的情况，线性不可分可以通过数学的手段变成近似线性可分。基本模型：
这里的裕量是几何间隔。
我们的目标是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？
原因来自于对间隔和几何间隔的定义（数学基础）：
间隔：δ=y(wx+b)=|g(x)|
几何间隔：
||w||叫做向量w的范数，范数是对向量长度的一种度量。我们常说的向量长度其实指的是它的2-范数，范数最一般的表示形式为p-范数，可以写成如下表达式：
另外，注意我们的目标：最大化几何间隔，而不是求出这个间隔。即，在什么情况下间隔最大，我们要得到的是这个“情况”（w和b取什么值，因为所有x和y是已知的）
所以，我们可以把目标转换：
==》==》
在这个问题中，自变量就是w，而目标函数是w的二次函数，所有的约束条件都是w的线性函数（不要把xi当成变量，它代表样本，是已知的）
这种规划问题有个很有名气的称呼——二次规划（Quadratic Programming，QP），而且可以更进一步的说，由于它的可行域是一个凸集，因此它是一个凸二次规划。拉格朗日乘子法可以求解这个问题。
问题1：
实际上就是目标函数减去，ai乘上约束条件的累加和。将问题转化为拉格朗日乘子待定问题。
经过数学计算（求导），可以发现：样本确定了w，用数学的语言描述，就是w可以表示为样本的某种组合：
w=α1y1x1+α2y2x2+…+αnynxn
式子中的αi是一个一个的数，而xi是样本点，因而是向量，n就是总样本点的个数。
w的表达式可以简写如下：
另外可以得到约束条件：
把问题1写成其对偶形式，可转化成问题2：
这样就可以解了，而且方法很多，如SMO。解出来得到的是a，然后可以得到w和b，进而得到分类超平面。(事实上，不需要求出w，非线性下求出w也无意义)
：
在线性不可分的情况下，支持向量机首先在低维空间中完成计算，然后通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超平面，从而把平面上本身不好分的非线性数据分开。
那是否意味着，每当我们解决一个问题，都需要找一个函数，从低维映射到高维？这个函数是什么样子的呢？首先观察一下线性下的目标函数（转化后的）。（注：之所以观察这个公式，是因为转化到高维后，就线性可分了，最后推导得到的还是这个式子）
我们发现它关注的不是函数本身，而是函数结果的内积。即，我不在乎你把x(二维)，转化为了x几维，也不在乎转化后的值是多少，我在乎的是转化之后，两个x再求内积（一个数）是多少。幸运的是，数学中有这样一些函数，他们叫核函数，计算效果相当于转化到高维后的内积。
百度百科的解释：核函数将m维高维空间的内积运算转化为n维低