1 / 7
文档名称:

svm分类器原理.docx

格式:docx   大小:41KB   页数:7页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

svm分类器原理.docx

上传人:fangjinyan2017001 2021/4/14 文件大小:41 KB

下载得到文件列表

svm分类器原理.docx

文档介绍

文档介绍:------------- 精选文档 -----------------
1、 数据分类算法基本原理
数据分类是数据挖掘中的一个重要题目。数据分类是指在已有分类的训练数据的基础
上,根据某种原理,经过训练形成一个分类器;然后使用分类器判断没有分类的数据的
类别。注意,数据都是以向量形式出现的,如 <, , , ⋯> 。
支持向量机是一种基于分类边界的方法 。其基本原理是(以二维数据为例) :如果训练
数据分布在二维平面上的点,它们按照其分类聚集在不同的区域。基于分类边界的分类
算法的目标是, 通过训练, 找到这些分类之间的边界 (直线的――称为线性划分,曲线的――
称为非线性划分) 。对于多维数据(如 N 维),可以将它们视为 N 维空间中的点,而分
类边界就是 N 维空间中的面,称为超面(超面比 N 维空间少一维) 。线性分类器使用超
平面类型的边界,非线性分类器使用超曲面。
线性划分如下图:可以根据新的数据相对于分类边界的位置来判断其分类。注意,我们
一般首先讨论二分类问题,然后再拓展到多分类问题。以下主要介绍二分类问题。
2、 支持向量机分类的基本原理
支持向量机是基于线性划分的。但是可以想象,并非所有数据都可以线性划分。如二维
空间中的两个类别的点可能需要一条曲线来划分它们的边界。 支持向量机的原理是将低
可编辑
------------- 精选文档 -----------------
维空间中的点映射到高维空间中,使它们成为线性可分的。再使用线性划分的原理来判
断分类边界。 在高维空间中,它是一种线性划分,而在原有的数据空间中,它是一种非
线性划分。
但是讨论支持向量机的算法时,并不是讨论如何定义低维到高维空间的映射算法(该算
法隐含在其“核函数”中) ,而是 从最优化问题 (寻找某个目标的最优解) 的角度来考
虑的。
3、 最优化问题
我们解决一个问题时,如果将该问题表示为一个函数 f(x) ,最优化问题就是求该函数的
极小值。通过高等数学知识可以知道,如果该函数连续可导,就可以通过求导,计算导
数= 0 的点,来求出其极值。但现实问题中,如果 f(x) 不是连续可导的,就不能用这种
方法了。最优化问题就是讨论这种情况。
求最优解的问题可以分为两种: ( 1 )无约束最优问题; ( 2 )有约束最优问题。
无约束最优算法可以表达为: min f (x) 。可以用数值计算方法中的牛顿法、最速梯度
x
下降法等,通过多次循环,求得一次近似的最优解。
有约束问题,一般表达为:
min
f ( x)
x
En
x
s..t
i (x) 0