文档介绍：支持向量机及其应用
目录
线性可分的支持向量〔分类〕机
线性支持向量〔分类〕机
支持向量〔分类〕机
最小二乘支持向量〔分类〕机
硬-带支持向量〔回归〕机
软-带支持向量〔回归〕机
-支持向量〔回归〕机
最小二可分的支持向量〔分类〕机
线性支持向量〔分类〕机
支持向量〔分类〕机
最小二乘支持向量〔分类〕机
硬-带支持向量〔回归〕机
软-带支持向量〔回归〕机
-支持向量〔回归〕机
最小二乘支持向量〔回归〕机
支持向量机应用
三、支持向量(分类)机
对于一般的非线性可分情况。对于训练集D，无法寻找到来如前的超平面来划分。
支持向量(分类)机
下面通过核技术来处理。引入一个非线性映射把输入空间
映射到一个(高维的)Hilbert空间H,使数据在H中是线性可分
或线性不可分：
输入空间X
i



Hilbert空间H
线性
可分
线性
不可分
在核映射下，D对应于Hilbert空间H的训练集为：
支持向量(分类)机
于是在Hilbert空间H中寻找使几何间隔最大的超平面，其原始优化问题为：
(8)
问题(8)对应的对偶问题为：
支持向量(分类)机
(9)
求解对偶问题(9),可得如下决策函数：
b*问的计算如下：
支持向量(分类)机
选取的一个正分量0<j*<C,计算
在问题(9)中K(x,x’)称为核函数。有：
支持向量(分类)机
核函数K(x,x’)仅依赖于的内积，要求满足Mercer条件。假设K是正定核的话，问题(9)是凸二次规划，比有解。
在支持向量机应用中，核函数K(x,x’)一般先验性地选取。常见的核有：线性核、多项式核、高斯核、Sigmoid核、样条核、小波核等等。
线性核：
支持向量(分类)机
Sigmoid核:
多项式核:
高斯核:
目录
线性可分的支持向量〔分类〕机
线性支持向量〔分类〕机
支持向量〔分类〕机
最小二乘支持向量〔分类〕机
硬-带支持向量〔回归〕机
软-带支持向量〔回归〕机
-支持向量〔回归〕机
最小二乘支持向量〔回归〕机
支持向量机应用
四、最小二乘支持向量(分类)机
Suykens等人在支持向量回归机中引入如下的二次损失函数作为代价函数，并将其不等式约束改为等式约束：
且带有如下等式约束条件：
其中
因此，把支持向量机的原始优化问题转变为如下寻找w和b的优化问题：
最小二乘支持向量(回归)机
为了在对偶空间中求解上述优化问题，定义如下的Lagrange泛函：
其中kR为乘子〔叫做支持向量〕。

其优化条件由下式给出：
最小二乘支持向量(回归)机
上式能被直接表示为求解如下如下线性方程组：
其中y=(y1,…,yn)T, (x)=( (x1),…, (xn))T, 1n=(1,...,1)T, e=(e1,…,en)T, =(1,…, n)T。在上式中消去w和e后，得到如下线性方程组：
其中kl=(xk)T(xl), k,l=1,...,n。
最小二乘支持向量(回归)机
根据Mercer定理，最小二乘支持向量分类器为：
其中与b通过求解上述方程组得到。
例子：最小二乘支持向量(分类)机
目录
线性可分的支持向量〔分类〕机
线性支持向量〔分类〕机
支持向量〔分类〕机
最小二乘支持向量〔分类〕机
硬-带支持向量〔回归〕机
软-带支持向量〔回归〕机
-支持向量〔回归〕机
最小二乘支持向量〔回归〕机
支持向量机应用
五、硬-带支持向量〔回归〕机
1、一个简单的回归例子。

考虑两个量x与y的关系。假设已测得假设干个数据构成的数据集D：
硬-带支持向量〔回归〕机
五、硬-带支持向量〔回归〕机
2、不敏感损失函数

为了在回归问题中使用构造风险代替经历风险来作为期望风险，以及保持在支持向量分类机的稀疏性质，Vapnik引入了如下的不敏感损失函数：
其中：
硬-带支持向量〔回归〕机
硬-带支持向量〔回归〕机
首先考虑硬-带支持向量线性回归情况。设有如下两类样本的训练集：
即使用一个线性函数来回归〔拟合、逼近〕样本点，且这种情
况下，没有样本点落在-带外。表示为如下的原始优化问题：

y=()+b+
y=()+b-
y=()+b
硬-带支持向量〔回归〕机
为求解上述原始优化问题,使用Lagrange乘子法将其转化为对偶问题。于是引入Lagrange函数：
其中，