文档介绍：国内图书分类号:TP181
国际图书分类号:
工学博士学位论文
支持向量机的核方法及其模型选择
博士研究生:常群
导师:王晓龙教授
申请学位:工学博士
学科、专业:计算机应用技术
所在单位:计算机科学与技术学院
答辩日期:2007 年 6 月
授予学位单位:哈尔滨工业大学
Classified Index: TP181
.:
Dissertation for the Doctoral Degree in Engineering
KERNEL METHODS AND MODEL
SELECTION FOR SUPPORT VECTOR
MACHINES
Candidate: Chang Qun
Supervisor: Prof. Wang Xiaolong
Academic Degree Applied for: Doctor of Engineering
Specialty: Computer Application Technology
Affiliation: School puter Science and Technology
Date of Defense: June, 2007
Degree-Offering-Institution: Harbin Institute of Technology
摘要
摘要
支持向量机是 20 世纪 90 年代发展起来的学****机器模型,通过控制学****机器
的容量和经验误差,构造对未来数据的预测规则。支持向量机已被广泛的应用于
机器学****的多个领域,在模式识别、分类、函数逼近、聚类等领域都有高性能的
表现。
一般地,支持向量机通过核函数工作在特征空间,也就是,在输入空间无法
处理的非线性问题可在特征空间中获得线性性能,从而有利于问题的解决。核函
数是支持向量机模型的主要元素,直接影响其性能。一切数据之间的依赖关系、
先验知识都通过核函数度量和携带。因此研究支持向量机的核方法对于提高支持
向量机的性能、推广支持向量机的应用有重要的意义。
仅仅有高性能的核函数对于构造支持向量机模型是不充分的,还要有与之对
应的高性能模型选择算法。模型选择算法通过发现最优的模型参数,从而使支持
向量机达到最好的性能。
单类支持向量机是一个无监督的学****机器模型,由于缺乏模型选择的标准,
其模型选择问题一直没有解决。虽然其模型参数对模型的影响被细致的讨论过,
但模型选择一直是基于手工的方式解决,这显然缺乏合理性。文中指出,单类支
持向量机的模型选择问题,可类比于一个开环系统,由于缺乏反馈信息,所以模
型选择的切入点只能从优化主问题入手。通过优化主问题的目标函数,为单类支
持向量机的模型选择找到可以依赖的标准。模型选择的迭代优化过程通过遗传算
法实现,并通过构造性实验验证了算法的合理性。
不变核/局部核,如高斯核、拉普拉斯核,在学****中存在局部风险,而且其依
赖的距离度量也缺乏灵活性。文中通过构造一个全局核,捆绑在局部核上,从而
提高局部核的性能,其意义是双重的:1)全局核增加了局部核的全局因素,从
而使局部风险降低;2)通过全局核的间接作用,使得局部核(高斯核、拉普拉斯
核)中的 L1 距离、L2 距离抓取数据之间依赖关系的能力变强了。然后针对提出的
新核,提出了基于遗传算法的两阶段模型选择方法为支持向量机选择模型参数。
最后通过实验验证了新核及其模型选择算法的有效性。
在支持向量分类中,对于具体的分类任务,高斯核存在一个全局最优的核宽
度数值。但由于样本空间的分布不均匀,高斯核并不是处处适应的。在样本的稠
密区域,会存在过学****现象;在样本的稀疏区域,会存在欠学****现象。所谓的全
局最优的核宽度数值,不过是在过学****风险和欠学****风险的一个折中而已。文中
—I—
哈尔滨工业大学工学博士学位论文
研究了高斯核的局部提高方法:1)通过引入一个伪一致性变换,从而间接修改
在再生核希尔伯特空间中黎曼流形上定义的黎曼度量的柔性,使得在空间的稠密
区域,用小尺度的黎曼度量,在空间的稀疏区域,用大尺度的黎曼度量;2)在
样本的高密度区域用小的核宽度值,在样本的稀疏区域用大的核宽度值。考虑到
局部提高问题的复杂性,文中的方法可看成是解决一个问题的阶段性成果,而不
是结束。
支持向量