文档介绍：实验报告实验名称:机器学****线性支持向量机算法实现学员:张麻子学号:***********培养类型:硕士年级:专业:所属学院:计算机学院指导教员:******职称:副教授实验室:实验日期:一、实验目的和要求实验目的:验证SVM(支持向量机)机器学****算法学****情况要求:自主完成。二、实验内容和原理支持向量机(SupportVectorMachine,SVM)的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学****算法。通过引入了核方法之后SVM也可以用来解决非线性问题。但本次实验只针对线性二分类问题。SVM算法分割原则:最小间距最大化,即找距离分割超平面最近的有效点距离超平面距离和最大。对于线性问题:wTx+b=0假设存在超平面可最优分割样本集为两类,则样本集到超平面距离为:ρ=min{|wTx+b|||w||}=a||w||需压求取:(wTx+b)≥a由于该问题为对偶问题,可变换为:min12||w||(wTx+b)≥1可用拉格朗日乘数法求解。但由于本实验中的数据集不可以完美的分为两类,即存在躁点。可引入正则化参数C,用来调节模型的复杂度和训练误差。min12||w||2+(wTx+b)≥1-εi,εi>0作出对应的拉格朗日乘式:对应的KKT条件为:故得出需求解的对偶问题:min12αiαjyiyj(xiTxj)-=0,C≥αi≥0,本次实验使用python编译器,编写程序,数据集共有270个案例,挑选其中70%作为训练数据,剩下30%作为测试数据。进行了两个实验,一个是取C值为1,直接进行SVM训练;另外一个是利用交叉验证方法,求取在前面情况下的最优C值。三、实验器材实验环境:windows7操作系统+python编译器。四、实验数据(关键源码附后)实验数据:来自UCI机器学****数据库,以HeartDisease数据集为例。五、操作方法与实验步骤1、选取C=1,训练比例7:3,利用python库sklearn下的SVM()函数进行训练,后对测试集进行测试;2、选取训练比例7:3,C=(,1,30)}。利用交叉验证方法求出C值的最优解。六、实验结果与分析实验一得出结果:可见,,小于1,说明训练集存在躁点,需要选择性的排出,才能得到较好的训练效果,,还须进一步提高。实验二得出结果:可见,在上述情况下,当C=,可得到较好的训练效果。七、问题与建议(可选)本次实验只是对SVM在线性空间的应用,还有非线性问题,多分类问题等。通过研究了解到,对于非线性问题,需要加入核函数;对于多分类问题,需要重新调整模型八、附录(源代码),GridSearchCVfromsklear