文档介绍：浙江大学研究生《人工智能引论》课件徐从富(CongfuXu)PhD,AssociateProfessorEmail:******@,puterScience,ZhejiangUniversity,Hangzhou310027,,,2006第三次修改稿第八章统计学****理论与SVM (Chapter8SLT&SVM)&SVM的地位和作用是统计学****方法的优秀代表有严密的数学依据,得到了严格的数学证明有力反驳——“复杂的理论是没有用的,有用的是简单的算法”等错误观点充分表明——“没有什么比一个好的理论更实用了”&SVM的数学基础概率论与数理统计泛函分析“ForGodsolovedtheworldthathegavehisoneandonlySon,,buttosavetheworldthroughhim.”fromJOHN3:16-&SVM所坚持的“基本信念”传统的估计高维函数依赖关系的方法所坚持的信念实际问题中总存在较少数目的一些“强特征”,用它们的简单函数(如线性组合)就能较好地逼近未知函数。因此,需要仔细地选择一个低维的特征空间,在这个空间中用常规的统计技术来求解一个逼近。SLT&SVM所坚持的信念实际问题中存在较大数目的一些“弱特征”,它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此,采用什么样的“弱特征”并不十分重要,而形成“巧妙的”线性组合更为重要。&SVM与传统方法的区别要较好地实现传统方法,需要人工选择(构造)一些数目相对较少的“巧妙的特征”SVM方法则是自动地选择(构造)一些数目较少的“巧妙的特征”在实际应用中,可通过构造两层(或多层)SVM来选择“巧妙的特征”6SLT&SVM集以下模型于一身:结构风险最小化(SRM)模型数据压缩模型构造复合特征的一个通用模型在希尔伯特空间中的内积回旋可以看作是构造特征的一种标准途径。对实际数据的一种模型一个小的支持向量集合可能足以对不同的机器代表整个训练集。——从观测自然现象或者专门安排的实验所得到的数据去推断该事务可能的规律性。统计学****理论——在研究小样本统计估计和预测的过程中发展起来的一种新兴理论。【注意】:这里所说的“小样本”是相对于无穷样本而言的,故只要样本数不是无穷,都可称为小样本,更严格地说,应该称为“有限样本”。8统计学****理论中的基本概念(续)机器学****主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律,并利用这些规律对未来数据或无法观测的数据进行预测。模式识别对表征事务或现象的各种形式(数值、文字及逻辑关系等)信息进行处理和分析,以对事务或现象进行描述、辨认、分类和解释的过程。,1962年把感知器作为一个学****机器模型统计学****理论的开始Novikoff(1962)证明了关于感知器的第一个定理解决不适定问题的正则化原则的发现Tikhonov(1963),Ivanov(1962),Phillips(1962)Vanik和Chervonenkis(1968)提出了VC熵和VC维的概念提出了统计学****理论的核心概念得到了关于收敛速度的非渐进界的主要结论10