文档介绍：该【人工神经网络专业知识 】是由【知识徜徉土豆】上传分享，文档一共【80】页，该文档可以免费在线阅读，需要了解更多关于【人工神经网络专业知识 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。机器学习
第4章 人工神经网络（ANN）
.
1
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第1页
概述
人工神经网络提供了一个普遍且实用方法从样例中学习值为实数、离散值或向量函数
反向传输算法，使用梯度下降来调整网络参数以最正确拟合由输入-输出对组成训练集合
人工神经网络对于训练数据中错误健壮性很好
人工神经网络已被成功应用到很多领域，比如视觉场景分析，语音识别，机器人控制
.
2
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第2页
介绍
神经网络学习对于迫近实数值、离散值或向量值目标函数提供了一个健壮性很强方法
对于一些类型问题，如学习解释复杂现实世界中传感器数据，人工神经网络是当前知道最有效学习方法
反向传输算法
成功例子，学习识别手写字符，学习识别口语，学习识他人脸
.
3
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第3页
生物学动机
ANN受到生物学启发，生物学习系统是由相互连接神经元组成异常复杂网络。
ANN由一系列简单单元相互密集连接组成，其中每一个单元有一定数量实值输入，并产生单一实数值输出
人脑组成，大约有1011个神经元，平均每一个与其它104个相连
神经元活性通常被通向其它神经元连接激活或抑制
最快神经元转换时间比计算机慢很多，然而人脑能够以惊人速度做出复杂度惊人决议
很多人推测，生物神经系统信息处理能力一定得益于对分布在大量神经元上信息表示高度并行处理
.
4
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第4页
生物学动机（2）
ANN系统一个动机就是取得这种基于分布表示高度并行算法
ANN并未模拟生物神经系统中很多复杂特征
ANN研究分为两个团体
使用ANN研究和模拟生物学习过程
取得高效机器学习算法，不论这种算法是否反应了生物过程
本书属于后一个研究团体
.
5
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第5页
神经网络表示
ALVINN系统
Pomerleau 1993
使用一个学习到ANN以正常速度在高速公路上驾驶汽车
ANN输入是一个30x32像素网格，输出是车辆行进方向
每个节点对应一个网络单元输出，而从下方进入节点实线为其输入
隐藏单元，输出仅在网络内部，不是整个网络输出一部分
每个输出单元对应一个特定驾驶方向，这些单元输出决定哪一个方向是被最强烈推荐
.
6
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第6页
神经网络表示（2）
ALVINN是很多ANN经典结构，全部单元分层互连形成一个有向无环图
通常，ANN图结构能够有很各种类型
无环或有环
有向或无向
本章讨论以反向传输算法为基础ANN方法
反向传输算法假定网络是一个固定结构，对应一个有向图，可能包含环
ANN学习就是为图中每一条边选取权值
大多数实际应用与ALVINN相同
.
7
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第7页
适合神经网络学习问题
训练集合为含有噪声复杂传感器数据，比如来自摄像机和麦克风
需要较多符号表示问题，比如决议树学习任务，能够取得和决议树学习大致相当结果
反向传输算法是最惯用ANN学习技术
.
8
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第8页
反向传输算法适合问题特征
实例是用很多“属性-值”对表示
目标函数输出可能是离散值、实数值或者由若干实数属性或离散属性组成向量
训练数据可能包含错误
可容忍长时间训练
可能需要快速求出目标函数值
人类能否了解学到目标函数是不主要
.
9
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第9页
本章余后部分提要
讨论训练单个单元学习算法
介绍组成神经网络几个主要单元
感知器（perceptron）
线性单元（liner unit）
sigmoid单元（sigmoid unit）
给出训练多层网络反向传输算法
考虑几个普通性问题
ANN表征能力
假设空间搜索本质特征
过分拟合问题
反向传输算法变体
例子，利用反向传输算法训练识他人脸ANN
.
10
机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏
人工神经网络专业知识专家讲座
第10页