文档介绍：该【统计学习StatisticalLearning 】是由【1354793****】上传分享，文档一共【91】页，该文档可以免费在线阅读，需要了解更多关于【统计学习StatisticalLearning 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。高级人工智能
第八章
统计学习 Statistical Learning
单击此处添加副标题
史忠植
中国科学院计算技术研究所
单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。
内容提要
2025/4/12
Chap8 SL Zhongzhi Shi
2
01
统计学习方法概述
02
统计学习问题
03
学习过程的泛化能力
04
支持向量机
05
SVM寻优算法
06
极限学习机
07
应用
统计学习方法概述
2025/4/12
Chap8 SL Zhongzhi Shi
3
统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。科学规律性的东西一般总是隐藏得比较深，最初总是从其数量表现上通过统计分析看出一些线索，然后提出一定的假说或学说，作进一步深入的理论研究。当理论研究 提出一定的结论时，往往还需要在实践中加以验证。就是说，观测一些自然现象或专门安排的实验所得资料，是否与理论相符、在多大的程度上相符、偏离可能是朝哪个方向等等问题，都需要用统计分析的方法处理。
统计学习方法概述
2025/4/12
Chap8 SL Zhongzhi Shi
4
近百年来，统计学得到极大的发展。我们可用下面的框架粗略地刻划统计学发展的过程：
1900-1920 数据描述
1920-1940 统计模型的曙光
1940-1960 数理统计时代
随机模型假设的挑战
松弛结构模型假设
1990-1999 建模复杂的数据结构
统计学习方法概述
2025/4/12
Chap8 SL Zhongzhi Shi
5
从1960年至1980年间，统计学领域出现了一场革命，要从观测数据对依赖关系进行估计，只要知道未知依赖关系所属的函数集的某些一般的性质就足够了。引导这一革命的是60年代的四项发现：
Tikhonov, Ivanov 和 Philips 发现的关于解决不适定问题的正则化原则；
Parzen, Rosenblatt 和Chentsov 发现的非参数统计学；
Vapnik 和Chervonenkis 发现的在泛函数空间的大数定律，以及它与学习过程的关系；
Kolmogorov, Solomonoff 和Chaitin 发现的算法复杂性及其与归纳推理的关系。
这四项发现也成为人们对学习过程研究的重要基础。
统计学习方法：
统计学习方法概述
2025/4/12
Chap8 SVM Zhongzhi Shi
6
传统方法: 统计学在解决机器学习问题中起着基础性的作用。传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。统计方法主要考虑测试预想的假设和数据模型拟合。它依赖于显式的基本概率模型。
模糊集
粗糙集
支持向量机
统计学习方法概述
2025/4/12
Chap8 SVM Zhongzhi Shi
7
统计方法处理过程可以分为三个阶段：
（1）搜集数据：采样、实验设计
（2）分析数据：建模、知识发现、可视化
（3）进行推理：预测、分类
常见的统计方法有:
回归分析（多元回归、自回归等）
判别分析（贝叶斯判别、费歇尔判别、非参数判别等）
聚类分析（系统聚类、动态聚类等）
探索性分析（主元分析法、相关分析法等）等。
支持向量机
2025/4/12
Chap8 SVM Zhongzhi Shi
8
1
SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，从此迅速发展起来
2
Vapnik V N. 1995. The Nature of Statistical Learning Theory. Springer-Verlag, New York
3
Vapnik V N. 1998. Statistical Learning Theory. Wiley-Interscience Publication, John Wiley&Sons, Inc
4
目前已经在许多智能信息获取与处理领域都取得了成功的应用。
学习问题研究的四个阶段
2025/4/12
Chap8 SVM Zhongzhi Shi
9
Rosenblatt 感知器（60年代）。
学习理论基础的创立（60-70年代）
经验风险最小，算法复杂性
神经网络（80年代）
PAC
回到起点（90年代）
多层感知器
统计学习理论
2025/4/12
Chap8 SVM Zhongzhi Shi
10
统计学习理论是小样本统计估计和预测学习的最佳理论。
假设输出变量Y与输入变量X之间存在某种对应的依赖关系,即一未知概率分布P(X,Y)，P(X,Y)反映了某种知识。学习问题可以概括为:根据l个独立同分布( independently drawn and identically distributed )的观测样本train set，
(x1,y1),(x2,y2),…,(xn,yn)