文档介绍：深度学****Deep Learning
目录
深度学****简介
数学基础
机器学****简介
感知器
前馈神经网络
卷积神经网络
循环神经网络
深度学****应用
深度学****概念
机器学****Machine Learning,ML)主要是研究如何使计算机从给定的数据中学****规律,即从观测数据(样本)中寻找规律,并利用学****到的规律(模型)对未知或无法观测的数据进行预测。目前,主流的机器学****算法是基于统计的方法,也叫统计机器学****br/>人工神经网络(Artificial work,ANN),也简称神经网络,是众多机器学****算法中比较接近生物神经网络特性的数学模型。人工神经网络通过模拟生物神经网络(大脑)的结构和功能,由大量的节点(或称“神经元”,或“单元”)和之间相互联接构成,可以用来对数据之间的复杂关系进行建模。
深度学****概念
2006 年,Hinton and Salakhutdinov 发现多层前馈神经网络可以先通过逐层预训练,再用反向传播算法进行精调的方式进行有效学****并且近年来计算机计算能力的提高(大规模并行计算,GPU),计算机已经可以训练大规模的人工神经网络。随着深度的人工神经网络在语音识别和图像分类等任务上的巨大成功,越来越多的人开始关注这一个“崭新”的研究领域:深度学****br/>深度学****Deep Learning,DL)是从机器学****中的人工神经网络发展出来的新领域。早期所谓的“深度”是指超过一层的神经网络。但随着深度学****的快速发展,其内涵已经超出了传统的多层神经网络,甚至机器学****的范畴,逐渐朝着人工智能的方向快速发展。
深度学****历史
1958 年Rosenblatt 感知器
1969 年Minsky XOR
1986 年Hinton、LeCun 人工神经网络(BP算法)
1998 年LeCun 卷积神经网络
2006 Hinton在DBN中提出了一种逐层预训练方法, 解决了梯度弥散问题
2008 Vincent等提出了降噪自编码器
2011 Rafir等提出了收缩自编码器
2012 微软研究员建立深度神经网络–隐马尔科夫混合模型, 在语音识别领域取得突
深度学****历史
2012 Krizhevsky , 在图像分类领域取得突破
2012 Ng在“GoogleBrain”项目中使用无监督深度学****方法
2015 Xu提出了结合注意力的场景识别
2015 微软研究员He等人提出了拥有152层的深度残差网络
深度学****难点
参数过多,影响训练
非凸优化问题:即存在局部最优而非全局最优解,影响迭代
下层参数比较难调
参数解释起来比较困难
计算资源要大
数据要多
算法效率要好:即收敛快
深度学****的局限性
模型规模与训练速度、训练精度之间的权衡。一般地,相同数据集下,模型规模越大,训练精度越高,训练速度会越慢。如何在保证一定的训练精度的前提下,提高训练速度,是深度学****方向研究的课题之一。
深度学****网络的架构规模、参数选择等问题都是由经验来确定。
深度学****由于缺乏逻辑推理能力, 在面对需要复杂推理的任务时受到一定限制。
目前大多数的深度学****方法都基于有监督学****而在实际生活中, 大部分事物都是未知的、不带标记的, 这就增加了可以发现事物内在结构关系的无监督学****算法的需求。
深度学****的优势
深度学****缓解了传统训练算法的局部最小性。
深度学****具有多层非线性映射的深层结构,可以完成复杂的函数逼近。
深度学****理论上可获取分布式表示,即可通过逐层学****算法获取输入数据的主要驱动变量。