文档介绍：浙江大学研究生《人工智能引论》课件徐从富( Congfu Xu ) PhD, Associate Professor Email: ******@zju. Institute of Artificial Intelligence, College puter Science, Zhejiang University, Hangzhou 310027, . China September 11 , 2003 第一稿 Oct. 16, 2006 第三次修改稿第八章统计学****理论与 SVM (Chapter8 SLT & SVM ) 目录?概述?统计学****理论中的基本概念?统计学****理论的发展简况?统计学****理论的基本内容?支持向量机概述?研究现状?参考文献 SLT & SVM 的地位和作用?是统计学****方法的优秀代表?有严密的数学依据,得到了严格的数学证明?有力反驳——“复杂的理论是没有用的,有用的是简单的算法”等错误观点?充分表明——“没有什么比一个好的理论更实用了”等基本的科学原则 概述 SLT & SVM 的数学基础?概率论与数理统计?泛函分析“ For God so loved the world that he gave his one and only Son, that whoever believes in him shall not perish but have eternal life. For God did not send his Son into the world to condemn the world, but to save the world through him. ” from JOHN 3:16-17 NIV SLT&SVM 所坚持的“基本信念”?传统的估计高维函数依赖关系的方法所坚持的信念?实际问题中总存在较少数目的一些“强特征”,用它们的简单函数(如线性组合)就能较好地逼近未知函数。因此,需要仔细地选择一个低维的特征空间,在这个空间中用常规的统计技术来求解一个逼近。? SLT&SVM 所坚持的信念?实际问题中存在较大数目的一些“弱特征”,它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此, 采用什么样的“弱特征”并不十分重要,而形成“巧妙的”线性组合更为重要。 SLT&SVM 与传统方法的区别?要较好地实现传统方法,需要人工选择(构造)一些数目相对较少的“巧妙的特征”? SVM 方法则是自动地选择(构造)一些数目较少的“巧妙的特征”?在实际应用中,可通过构造两层(或多层) SVM 来选择“巧妙的特征” SLT & SVM 集以下模型于一身: ?结构风险最小化( SRM )模型?数据压缩模型?构造复合特征的一个通用模型在希尔伯特空间中的内积回旋可以看作是构造特征的一种标准途径。?对实际数据的一种模型一个小的支持向量集合可能足以对不同的机器代表整个训练集。 SLT 中的基本概念?统计方法——从观测自然现象或者专门安排的实验所得到的数据去推断该事务可能的规律性。?统计学****理论——在研究小样本统计估计和预测的过程中发展起来的一种新兴理论。【注意】:这里所说的“小样本”是相对于无穷样本而言的,故只要样本数不是无穷,都可称为小样本,更严格地说,应该称为“有限样本”。统计学****理论中的基本概念(续) ?机器学****主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律,并利用这些规律对未来数据或无法观测的数据进行预测。?模式识别?对表征事务或现象的各种形式(数值、文字及逻辑关系等)信息进行处理和分析,以对事务或现象进行描述、辨认、分类和解释的过程。?统计学****理论?一种研究有限样本估计和预测的数学理论 统计学****理论的发展简况?学****过程的数学研究? F. Rosenblatt 于1958,1962 年把感知器作为一个学****机器模型?统计学****理论的开始? Novikoff(1962) 证明了关于感知器的第一个定理?解决不适定问题的正则化原则的发现? Tikhonov(1963), Ivanov(1962), Phillips(1962) ? Vanik 和 Chervonenkis(1968) 提出了 VC 熵和 VC 维的概念?提出了统计学****理论的核心概念?得到了关于收敛速度的非渐进界的主要结论