文档介绍：第五章机器学习
本章讨论
机器学习的研究意义与发展历史
机器学习的主要策略与基本结构
常见的几种学习方法
基于神经网络的学习
机器学习的研究意义与发展历史
什么是机器学习?
Simon(1983):学习就是系统中的变化,这种变化使系统比以前更有效地去做同样的工作。
Minsky (1985):学习是在我们头脑中(心里内部)进行有用的变化。
学习是一种具有多侧面的现象。学习的过程有:获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。
基本形式
知识获取和技能求精。
学习的本质就是获取新的知识。包括物理系统和行为的描述和建模,构造客观现实的表示。
——知识获取
通过实践逐渐改造机制和认知技能。
例:骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。
——技能求精
知识获取的本质可能是一个自觉的过程,其结果是产生新的符号知识结构和智力模型。
而技能求精则是下意识地借助于反复地实践来实现的。
为什么要研究机器学习?
人工智能主要是为了研究人的智能,模仿其机理将其应用于工程的科学。在这个过程中必然会问道:“人类怎样做才能获取这种特殊技能(或知识)?”。
当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统,知识中的错误也不能自动改正。也就是说,现有的大多数人工智能是演绎的、没有归纳推理,因而不能自动获取和生成知识。
未来的计算机将有自动获取知识的能力,它们直接由书本学习,通过与人谈话学习,通过观察学习。它们通过实践自我完善,克服人的存储少、效率低、注意力分散、难以传送所获取的知识等局限性。一台计算机获取的知识很容易复制给任何其它机器。
实现的困难:
预测难:学习后知识库发生了什么变化,系统功能的变化的预测。
归纳推理:现有的归纳推理只保证假,不保证真。演绎推理保真。而且,归纳的结论是无限多的,其中相当多是假的,给生成的知识带来不可靠性。
机器目前很难观察什么重要、什么有意义。
发展历史
神经系统模型和决策理论
50年代开始。
其特点是对开始与无初始结构和面向作业知识的通用学习系统感兴趣。包括构造多种具有随机或部分随机的初始结构的基于神经模型的机器。这些系统一般称为神经网络或自组织系统。由于当时计算机技术状态,多停留在理论和硬件上。这些元件类似于神经元,他们实现简单的逻辑功能。
………
神经系统模型和决策理论
………
1965年左右,神经网络经验模式导致了模式识别这一新学科以及机器学习的决策理论方法。这种方法中学习就是从给定的一组经过选择的例子中获得判断函数,有线性的、多项式的、或相关的形式。
当时,Samuel(1959-1963)的跳棋程序是最著名的成功的学。