文档介绍：机器学习
第2章概念学习和一般到特殊序
1
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
提纲
概念学习
给定某一类别的若干正例和反例,从中获得该类别的一般定义。
搜索的观点
在预定义的假设空间中搜索假设,使其与训练样例有最佳的拟合。
利用假设空间的偏序结构
算法收敛到正确假设的条件
归纳学习的本质,从训练数据中泛化的理由
2
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
简介
许多机器学习涉及到从特殊训练样例中得到一般概念。
概念,可被看作一个对象或事件集合,它是从更大的集合中选取的子集,或在这个较大集合中定义的布尔函数。
概念学习问题的定义
给定一个样例集合以及每个样例是否属于某个概念的标注,怎样推断出该概念的一般定义。又称从样例中逼近布尔函数。
概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。
3
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
概念学习任务
一个例子
目标概念,Aldo进行水上运动的日子,表示为布尔函数EnjoySport
任务目的,基于某天的各属性,预测EnjoySport的值
一个样例集,每个样例表示为属性的集合
4
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
概念学习任务(2)
Yes
Change
Cool
Strong
High
Warm
Sunny
4
Yes
Change
Warm
Strong
High
Cold
Rainy
3
Yes
Same
Warm
Strong
High
Warm
Sunny
2
Yes
Same
Warm
Strong
Normal
Warm
Sunny
1
EnjoySport
Forecast
Water
Wind
Humidity
AirTemp
Sky
Example
表2-1 目标概念EnjoySport的训练样例
5
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
概念学习任务(3)
表示假设的形式
一个简单的形式,实例的各属性约束的合取式
令每个假设为6个约束(或变量)的向量,每个约束对应一个属性可取值范围,为
?任意本属性可接受的值
明确指定的属性值
不接受任何值
假设的例子
<?, Cold, High, ?, ?, ?>
<?, ?, ?, ?, ?, ?> // 所有的样例都是正例
< , , , , , > // 所有的样例都是反例
6
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
概念学习任务(4)
EnjoySport概念学习任务
已知
实例集X
每个实例x由6个属性描述,每个属性的取值范围已确定
假设集H
每个假设h描述为6个属性的取值约束的合取
目标概念c
一个布尔函数,变量为实例
训练样例集D
目标函数(或目标概念)的正例和反例
求解
H中的一假设h,使对于X中任意x,h(x)=c(x)
7
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
术语定义
实例x
实例集X
概念
目标概念c
训练样例x
训练样例集D
正例,目标概念成员
反例,非目标概念成员
假设h
假设集H
机器学习的目标就是寻找一个假设h,使得对所有的h,都有h(x)=c(x)
8
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
归纳学习假设
什么是归纳学习?
从特殊的样例得到普遍的规律
归纳
只能保证输出的假设能与训练样例相拟合
归纳假设的一个基本假定
对于未见实例最好的假设就是与训练数据最佳拟合的假设
归纳学习假设
任一假设如果在足够大的训练样例集中很好地逼近目标函数,它也能在未见实例中很好地逼近目标函数。
9
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏
作为搜索的概念学习
概念学习可以看作一个搜索的过程
搜索范围:假设的表示所隐含定义的整个空间
搜索目标:能够最好地拟合训练样例的假设
当假设的表示形式选定后,那么就隐含地为学习算法确定了所有假设的空间
例子EnjoySport的假设空间
10
机器学习-概念学习作者:Mitchell 译者:曾华军等讲者:陶晓鹏