文档介绍：支持向量机分类器 1 支持向量机的提出与发展支持向量机( SVM, support vector machine ) 是数据挖掘中的一项新技术, 是借助于最优化方法来解决机器学****问题的新工具,最初由等人在 1995 年首先提出,近几年来在其理论研究和算法实现等方面都取得了很大的进展, 开始成为克服“维数灾难”和过学****等困难的强有力的手段,它的理论基础和实现途径的基本框架都已形成。根据 Vapnik & Chervonenkis 的统计学****理论, 如果数据服从某个( 固定但未知的) 分布, 要使机器的实际输出与理想输出之间的偏差尽可能小, 则机器应当遵循结构风险最小化( SRM,structural risk minimization) 原则, 而不是经验风险最小化原则, 通俗地说就是应当使错误概率的上界最小化。 SVM 正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单, 而且泛化( generalization) 能力明显提高。 2 问题描述问题引入假设有分布在 Rd 空间中的数据, 我们希望能够在该空间上找出一个超平面(Hyper-pan), 将这一数据分成两类。属于这一类的数据均在超平面的同侧, 而属于另一类的数据均在超平面的另一侧。如下图。比较上图,我们可以发现左图所找出的超平面(虚线) ,其两平行且与两类数据相切的超平面( 实线) 之间的距离较近, 而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面,因此右图所找出的是比较好的超平面。可以将问题简述如下: 设训练的样本输入为 xi, i=1 ,…,l, 对应的期望输出为 yi∈{+1 , -1} , 其中+1和-1 分别代表两类的类别标识,假定分类面方程为ω﹒ x+b=0 。为使分类面对所有样本正确分类并且具备分类间隔,就要求它满足以下约束条件: 它追求的不仅仅是得到一个能将两类样本分开的分类面,而是要得到一个最优的分类面。问题的数学抽象将上述问题抽象为: 根据给定的训练集其中,X 称为输入空间, 输入空间中的每一个点 x i由n 个属性特征组成, 寻找 R n 上的一个实值函数 g(x) ,以便用分类函数f(x)= sgn( g(x )), 推断任意一个模式 x 相对应的 y 值的问题为分类问题。判别函数 g(x)是特征空间中某点 x到超平面的距离的一种代数度量。如果 g(x) >0 ,则判定 x属于 C1 , 如果 g(x) <0 ,则判定 x属于 C2 , 如果 g(x) =0 ,则可以将 x任意分到某一