文档介绍：UNIVERSITY OF SOUTHAMPTON
Support Vector Machines
for
Classification and Regression
by
Steve R. Gunn
Technical Report
Faculty of Engineering, Science and Mathematics
School of Electronics puter Science
10 May 1998
Contents
Nomenclature xi
1 Introduction 1
Statistical Learning Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 2
VC Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Structural Risk Minimisation . . . . . . . . . . . . . . . . . . . . . 4
2 Support Vector Classification 5
The Optimal Separating Hyperplane . . . . . . . . . . . . . . . . . . . . . 5
Linearly Separable Example . . . . . . . . . . . . . . . . . . . . . . 10
The Generalised Optimal Separating Hyperplane . . . . . . . . . . . . . . 10
Linearly Non-Separable Example . . . . . . . . . . . . . . . . . . . 13
Generalisation in High Dimensional Feature Space . . . . . . . . . . . . . 14
Polynomial Mapping Example . . . . . . . . . . . . . . . . . . . . 16
Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3 Feature Space 19
Kernel Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Gaussian Radial Basis Function . . . . . . . . . . . . . . . . . . . . 20
Exponential Radial Basis Function . . . . . . . . . . . . . . . . . . 20
Multi-Layer Perceptron . . . . . . . . . . . . . . . . . . . . . . . . 20
Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
B splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Additive Kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Tensor Product . . . . . . . . . . . . . . . . . . . . . . . . . . .