支持向量机及其应用.ppt

文档介绍：最小二乘支持向量(回归)机
上式能被直接表示为求解如下如下线性方程组：
其中y=(y1,…,yn)T, (x)=( (x1),…, (xn))T, 1n=(1,...,1)T, e=(e1,…,en)T, =(1,…, 的支持向量（分类）机
线性支持向量（分类）机
支持向量（分类）机
最小二乘支持向量（分类）机
硬-带支持向量（回归）机
软-带支持向量（回归）机
-支持向量（回归）机
最小二乘支持向量（回归）机
支持向量机应用
-支持向量（回归）机
下面通过核技术来处理。引入一个非线性映射把输入空间
映射到一个(高维的)Hilbert空间H,使在H中进行线性回归（硬-带或软-带）：
输入空间X



Hilbert空间H
硬-带
线性回归

软-带
线性回归
在核映射下，D对应于Hilbert空间H的训练集为：
-支持向量（回归）机
于是在Hilbert空间H中进行线性回归，其原始优化问题为：
上述问题的对偶问题为：
-支持向量（回归）机
求解对偶问题,可得如下回归函数：
目录
线性可分的支持向量（分类）机
线性支持向量（分类）机
支持向量（分类）机
最小二乘支持向量（分类）机
硬-带支持向量（回归）机
软-带支持向量（回归）机
-支持向量（回归）机
最小二乘支持向量（回归）机
支持向量机应用
四、最小二乘支持向量(回归)机
假定xXRd表示一个实值随机输入向量，yYR表示一个实值随机输出变量。记RN表示一高维的特征空间，为一非线性映射: X，它映射随机输入向量到高维特征空间。

支持向量方法的思想是在该高维特征空间中考虑如下线性函数集：
我们考虑在函数表示式中含噪声情形。给定一个由未知分布FXY产生的、独立同分布（.）的训练集：
这里ekR假定为独立同分布的随机误差，且E[ ek | X=xk ] = 0，Var[ ek ] = 2 < ；m(x)F为一个未知的实值光滑函数，且E[ yk | x=xk ] = f(xk)。
最小二乘支持向量(回归)机
函数估计的目的是在约束||w||a, aR下通过最小化如下经验风险来寻找w和b:
最小二乘支持向量回归机（LS-SVR）定义了与标准支持向量机不同的代价函数，选用损失函数为误差ek的二次项，并将其不等式约束改为等式约束，因此寻找w和b的优化问题可以转化为如下具有岭回归形式的优化问题：
且带有如下等式约束条件：
其中
最小二乘支持向量(回归)机
为了在对偶空间中求解上述优化问题，定义如下的Lagrange泛函：
其中kR为乘子（叫做支持向量）。

其优化条件由下式给出：
最小二乘支持向量(回归)机
上式能被直接表示为求解如下如下线性方程组：
其中y=(y1,…,yn)T, (x)=( (x1),…, (xn))T, 1n=(1,...,1)T, e=(e1,…,en)T, =(1,…, n)T。在上式中消去w和e后，得到如下线性方程组：
其中kl=(xk)T(xl), k,l=1,...,n。
最小二乘支持向量(回归)机
根据Mercer定理，函数估计的最小二乘支持向量回归模型为：
其中与b通过求解上述方程组得到。
目录
线性可分的支持向量（分类）机
线性支持向量（分类）机
支持向量（分类）机
最小二乘支持向量（分类）机
硬-带支持向量（回归）机
软-带支持向量（回归）机
-支持向量（回归）机
最小二乘支持向量（回归）机
支持向量机应用
九、支持向量机应用
1、手写体数字识别。
SVM的第一个应用是手写字符识别问题。
Vapnik、Burges、Cortes、Scholkopf等研究了该问题。使用最大间隔和软间隔SVM。使用高斯核和多项式核。
在两个数据集USPS(美国邮政服务局)和NIST(国家标准技术局)。其中USPS数据集包括7291个训练样本，2019个测试样本，用256维的向量(16×16矩阵)表示，每个点的灰度值0～255。
NIST数据集包括60000个训练样本，10000个测试样本，图像为20×20矩阵表示。
结果表明SVM具有一定的优势。
九、支持向量机应用
2、文本分类。
根据文本的内容自动地把它归类。比如邮件