文档介绍：目录
神经网络简要介绍
经典深度神经网络模型
work work (MIN)
深度学习框架及实例
深度学习在计算机视觉中的应用
神经网络简要介绍
经典深度神经网络模型
work work (MIN)
深度学习框架简介
在计算机视觉中的应用
目录
神经网络兴衰史
神经网络简要介绍
第一次兴起(1958年):感知机,由于没有引入非线性,不能求解异或问题。
第二次兴起(1986年):将BP(Back Propagation)算法用于ANN的训练过程。
第三次兴起(2012年):深度卷积神经网络的兴起,一直到现在。
BP算法:信号的正向传播和误差的反向传播。
机器学习
神经网络
深度学习
CNN/RNN
4
机器学习,神经网络,深度学习之间的关系
深度卷积神经网络介绍
萌芽期
1940s
MP 模型
阈值加和模型
Hebb学习
规则
第一次高潮
1960s
第二次高潮
1980s
第三次浪潮
2000s
感知器模型
自适应-
线性单元
Hopfield网络
Boltzman 机
BP算法
SVM
Vapnik 95
Boosting
Schapire 95
深度网络
DBN
DBM
N
RNN
G. E. Hinton
Y. Bengio
Y. Lecun
Andrew Ng
Rob Fergus
人工神经网络发展历程
低谷
CNN
LeCun 98
低谷
Deep Learning, Science 2006 (vol. 313, pp. 504-507)
works ing back!
具有多个隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;
深度神经网络在训练上的难度,可以通过“逐层初始化”(Layer-wise Pre-training)来有效克服。
两个重要的信息:
人工神经网络发展历程
在语音识别取得重大突破
百度: deep speech
2011年以来,错误率降低2030%!
2012年11月,微软在天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。
人工神经网络发展历程
Google Brain项目(纽约时报2012年6月报道)
2011年开始,Google Brain 项目采用16000个CPU Core的并行计算平台训练“深层神经网络”,在图像识别等领域获取巨大成功!
吴恩达
人工神经网络发展历程
AlphaGo Master 3:0 柯洁
2017年1月
AlphaGo Fan 5:0 樊麾
2015年10月
AlphaGo Lee 4:1 李世石
2016年3月
100:0战胜Lee版本,89:11战胜Master版本!
AlphaGo Zero
2017年10月
AlphaZero:最大特点是无需人类棋谱,仅利用围棋规则
Alpha-Fan
AlphaGo-Lee
AlphaMaster
AlphaZero
人工神经网络发展历程
为什么有效
浅层神经网络可以近似任意函数,为何多层?
深层网络结构中,高层可以综合应用低层信息。
低层关注“局部”,高层关注“全局”、更具有语义化信息。
为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。
特征提取与分类器可以一起学习。
人工神经网络发展历程
发展基础:
数据爆炸:图像数据、文本数据、语音数据、社交网络数据、科学计算等
计算性能大幅提高