文档介绍：湘潭大学
硕士学位论文
增量支持向量机回归算法及其应用研究
姓名:张仕华
申请学位级别:硕士
专业:计算机应用技术
指导教师:周经野;王学业
20060501
2003 级硕士研究生毕业论文
摘要
支持向量机(SVM)是九十年代中期发展起来的新的机器学习技术,与传统的
神经网络(NN)技术不同,SVM是以统计学习理论(SLT)为基础,NN是以传统统计
学理论为基础。传统统计学的前提条件是要有足够多的样本,而统计学习理论是
着重研究小样本条件下的统计规律和学习方法的,它为机器学习问题建立了一个
很好的理论框架。实践表明,建立在(SLT)之上支持向量机不仅结构简单,而且
技术性能尤其是推广能力明显提高,能够解决好大量实践中的小样本学习问题,
它是一个全新的人工智能技术。目前,SVM己成为国际上机器学习领域新的研究
热点。本文首次提出增量支持向量机算法的回归模型,并对其进行应用研究。
论文的主要工作可归纳如下:
首先,第一章简要介绍了机器学习的缺陷,而统计学习理论的发展,导致了
支持向量机的诞生,分析了支持向量机与神经网络的差异,并指出了研究和应用
支持向量机的必要性和重要性以及现有支持向量机的研究成果和存在的不足,提
出了本文的研究内容及目的和意义。第二章探讨了支持向量机理论基础,对支持
向量机的传统模型进行了系统的阐述,为增量支持向量机的产生奠定了理论基
础。
其次,第三章对支持向量机的回归进行了理论的推导和分析,并对损失函数
进行了理论解释,对核函数和高维空间映射进行阐述。第四章对内点算法和子集
选择算法进行了较为深入的阐述,为增量回归算法的建立奠定基础。
再次,为了进一步提高支持向量机的通用性以及推广能力、应用能力、回归
速度等性能,第五章提出了增量支持向量机回归算法,并且选择了核函数的具体
形式。
最后,在第六章中,在常规SVM基础上提出了增量回归算法,对算法进行实
现和实验研究,用实验结果来证明算法的有效性和优越性,并把算法应用到高聚
物的结构性能关系模型求解中,体现其应用价值。
关键词:支持向量机;神经网络;机器学习;增量学习;回归
I
Abstract
Abstract
Support Vector Machine (SVM) is new machine learning technique developed
from the middle of 1990s. Being different from traditional work(NN),
SVM is based on Statistical Learning Theory (SLT), which is a small-sample
statistics and concerns mainly the statistic principles when sample are limited,
especially the properties of learning procedure, while NN is based on traditional
statistics, which provides conclusion only for the situation where sample size is
tending to infinity. SLT provides us a new framework for the general learning
problem. A large number of experiments have shown that SVM has not only simple
structure, but also better performances, especially better generalization ability. SVM
can solve small-sample learning problem better, and it is pletely new Neural
Network technique. Currently, SVM is ing a new hot area in the field of
machine learning in the world. This paper has the first times developed incremental
regressive SVM and studied its applied research.
The main