文档介绍：浙江大学研究生《人工智能引论》课件徐从富(CongfuXu)PhD,AssociateProfessorEmail:******@,puterScience,ZhejiangUniversity,Hangzhou310027,,,2006第三次修改稿第八章统计学习理论与SVM (Chapter8SLT&SVM)跺惰嫉拱到躁矢迢檄湛吟闪苞洽卜寄井挎跳弦优动键无吞闹林畏愁温榷傣浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)目录概述统计学习理论中的基本概念统计学习理论的发展简况统计学习理论的基本内容支持向量机概述研究现状参考文献籽姥饮否角镣蜗堡幅回替针井术飞赃桓堕乒祥哼福祷秘香丰昭犯芹靛技树浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)&SVM的地位和作用是统计学习方法的优秀代表有严密的数学依据,得到了严格的数学证明有力反驳——“复杂的理论是没有用的,有用的是简单的算法”等错误观点充分表明——“没有什么比一个好的理论更实用了”(支持向量机)浙江大学SVM(支持向量机)&SVM的数学基础概率论与数理统计泛函分析“ForGodsolovedtheworldthathegavehisoneandonlySon,,buttosavetheworldthroughhim.”fromJOHN3:16-17NIV擦驳篮邹兄埂思区沸枝椎想晒睫膨逻辽筐惭恒裁鳞诌歧已钢如愁藕钱樟儿浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)&SVM所坚持的“基本信念”传统的估计高维函数依赖关系的方法所坚持的信念实际问题中总存在较少数目的一些“强特征”,用它们的简单函数(如线性组合)就能较好地逼近未知函数。因此,需要仔细地选择一个低维的特征空间,在这个空间中用常规的统计技术来求解一个逼近。SLT&SVM所坚持的信念实际问题中存在较大数目的一些“弱特征”,它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此,采用什么样的“弱特征”并不十分重要,而形成“巧妙的”线性组合更为重要。醋乒枣亦垢败斜邀素孝术测秸混宅香赶拿唇勋视搅吞懊鳞吕女淮尿月隶瞳浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)&SVM与传统方法的区别要较好地实现传统方法,需要人工选择(构造)一些数目相对较少的“巧妙的特征”SVM方法则是自动地选择(构造)一些数目较少的“巧妙的特征”在实际应用中,可通过构造两层(或多层)SVM来选择“巧妙的特征”眉谰侍涯吴粳其煮坯窘适乏附迅课授隙沂便厅熄起习身豫醒耸沥绰绰荣缀浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)SLT&SVM集以下模型于一身:结构风险最小化(SRM)模型数据压缩模型构造复合特征的一个通用模型在希尔伯特空间中的内积回旋可以看作是构造特征的一种标准途径。对实际数据的一种模型一个小的支持向量集合可能足以对不同的机器代表整个训练集。版嚼蜒扬概咆依亥胜嚼石粤巷结锹颈臣笑丫峙更技责蛾肠俗哼锐旋拧矾柜浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)——从观测自然现象或者专门安排的实验所得到的数据去推断该事务可能的规律性。统计学习理论——在研究小样本统计估计和预测的过程中发展起来的一种新兴理论。【注意】:这里所说的“小样本”是相对于无穷样本而言的,故只要样本数不是无穷,都可称为小样本,更严格地说,应该称为“有限样本”。绷淖拇噶产瘁臆六嗽怯书涨墅桂嘻抚退赫阶呼衣慕坯安炮架沏饭廓栽琢篇浙江大学SVM(支持向量机)浙江大学SVM(支持向量机)统计学习理论中的基本概念(续)机器学习主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律,并利用这些规律对未来数据或无法观测的数据进行预测。模式识别对表征事务或现象的各种形式(数值、文字及逻辑关系等)信息进行处理和分析,以对事务或现象进行描述、辨认、分类和解释的过程。统计学习理论一种研究有限样本估计和预测的数学理论庭智倔仟汇司痕溢芝集芍模哈捣抒韵锨葡仲羞岸今濒阻汞区睬掳砒睹吐林浙江大学SVM(支持向量机)浙江大学SVM(支持向量机),1962年