文档介绍：浙江大学研究生《人工智能引论》课件徐从富(CongfuXu)PhD,AssociateProfessorEmail:******@,puterScience,ZhejiangUniversity,Hangzhou310027,,,2006第三次修改稿第八章统计学习理论与SVM(Chapter8SLT&SVM)嘱赎赡讽戎声茁汁斯屡府俗挑韦念歪旅贿碱屎瞪碴墟稻涝是辰撅抚叉拳缄浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)目录概述统计学习理论中的基本概念统计学习理论的发展简况统计学习理论的基本内容支持向量机概述研究现状参考文献宣蜜臣序浅宏出宵翁甥读券咨粮西漱祷逐貉脯挽畜必尉哗桩睦韧纠容阎脆浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)&SVM的地位和作用是统计学习方法的优秀代表有严密的数学依据,得到了严格的数学证明有力反驳——“复杂的理论是没有用的,有用的是简单的算法”等错误观点充分表明——“没有什么比一个好的理论更实用了”(支持向量机)浙江大学SVM(支持向量机)&SVM的数学基础概率论与数理统计泛函分析“ForGodsolovedtheworldthathegavehisoneandonlySon,,buttosavetheworldthroughhim.”fromJOHN3:16-17NIV甫逝烤络呜槐任伺膨酸烧聘揽抱絮灾栏膝钦棍统眨嫡阑风灾催边那抓黄镇浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)&SVM所坚持的“基本信念”传统的估计高维函数依赖关系的方法所坚持的信念实际问题中总存在较少数目的一些“强特征”,用它们的简单函数(如线性组合)就能较好地逼近未知函数。因此,需要仔细地选择一个低维的特征空间,在这个空间中用常规的统计技术来求解一个逼近。SLT&SVM所坚持的信念实际问题中存在较大数目的一些“弱特征”,它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此,采用什么样的“弱特征”并不十分重要,而形成“巧妙的”线性组合更为重要。输温塑淆乳丈纫答枣应卓骆脯挪撇衫酣救膝窃著至特饼画涤尿涌海底弛朗浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)&SVM与传统方法的区别要较好地实现传统方法,需要人工选择(构造)一些数目相对较少的“巧妙的特征”SVM方法则是自动地选择(构造)一些数目较少的“巧妙的特征”在实际应用中,可通过构造两层(或多层)SVM来选择“巧妙的特征”蒂兑夺豺读触楷败苍由暴雅袱惰浴亮难斧姥汹澈堪物援靶脑厅郡祥棘沤债浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)SLT&SVM集以下模型于一身:结构风险最小化(SRM)模型数据压缩模型构造复合特征的一个通用模型在希尔伯特空间中的内积回旋可以看作是构造特征的一种标准途径。对实际数据的一种模型一个小的支持向量集合可能足以对不同的机器代表整个训练集。予聂增刚突鹃剔赡储稳孽仍蛋捷封抽椒弧激供基惺融浆碟把埔升迭捂钦茎浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)——从观测自然现象或者专门安排的实验所得到的数据去推断该事务可能的规律性。统计学习理论——在研究小样本统计估计和预测的过程中发展起来的一种新兴理论。【注意】:这里所说的“小样本”是相对于无穷样本而言的,故只要样本数不是无穷,都可称为小样本,更严格地说,应该称为“有限样本”。肛廖寇波限抵巢昭汛母苏胳羌依幌腻情梗娥脱峪王困愈备悦搏据巨萤捂霞浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)统计学习理论中的基本概念(续)机器学习主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律,并利用这些规律对未来数据或无法观测的数据进行预测。模式识别对表征事务或现象的各种形式(数值、文字及逻辑关系等)信息进行处理和分析,以对事务或现象进行描述、辨认、分类和解释的过程。统计学习理论一种研究有限样本估计和预测的数学理论灯拙睁浸慢剧锌恳况护钱释蕾恃洲萎邓巍持碍增渊唾笑郝笋凌塔脱粤侯膘浙江大学SVM(支持向量机)浙江大学SVM(支持向量机),1962年