文档介绍：深度学习
智慧融入街镇
目录 content
深度学习概述
第一章
深度学习应用研究
第二章
总结与展望
第三章
深度学习概述
第一章
历史与背景
基本思想
经典模型
1-1 历史与背景
假设我们要让程序判断下面的图像是否为猫:
判断图像是否为猫的规则该怎么描述?用枚举的方法,即为每张可能的图像对应一个结果(是猫,不是猫),根据这个对应规则进行判定。对于高度和宽度都为256像素的黑白图像,如果每个像素值的值是0-255之间的整数,根据排列组合原理,所有可能的图像数量为:
所以,与其总结好知识告诉人工智能,还不如让人工智能自己去学习知识。要识别猫的图像,可以采集大量的图像样本,其中一类样本图像为猫,另外的不是猫。然后把这些标明了类别的图像送入机器学习程序中进行训练。——机器学习
1-1 历史与背景
机器学习发展阶段
1980s:登上历史舞台
1990-2012:走向成熟和应用
2012:深度学习时代神经网络卷土重来
1980年机器学习作为一支独立的力量登上了历史舞台。典型的代表是:1984:分类与回归树     
1986:反向传播算法     
1989:卷积神经网络
代表性的重要成果有:
1995:支持向量机(SVM)
1997:AdaBoost算法
1997:循环神经网络(RNN)和LSTM
2000:流形学习
2001:随机森林
在与SVM的竞争中,神经网络长时间内处于下风,直到2012年局面才被改变。由于算法的改进以及大量训练样本的支持,加上计算能力的进步,训练深层、复杂的神经网络成为可能,它们在图像、语音识别等有挑战性的问题上显示出明显的优势。
1958: Perceptron (linear model)
1969: Perceptron has limitation
1980s: Multi-layer perceptron
Do not have significant difference from DNN today
1986: Backpropagation
Usually more than 3 hidden layers is not helpful
1989: 1 hidden layer is “good enough”, why deep?
2006: RBM initialization
2009: GPU
2011: Start to be popular in speech recognition
2012: win ILSVRC petition
: Image recognition surpassing human-level performance 
: Alpha GO beats Lee Sedol
: Speech recognition system as good as humans
Ups and downs of Deep Learning
1-1 历史与背景
1-1 历史与背景