文档介绍：深度学
汇报提纲
一、Introduction
二、Background
三、 Deep Learning
四、 Shallow Learning and DL
五、 DL and work
六、Examples
一、概述
图灵(计算机和人工智能的鼻祖,分别对应于其著名的“图灵机”和“图灵测试”)在 1950年的论文里,提出图灵试验的设想,即,隔墙对话,你将不知道与你谈话的,是人还是电脑。但是半个世纪过去了,人工智能的进展,远远没有达到图灵试验的标准。
自2006 年以来,机器学习领域,取得了突破性的进展。图灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是,Deep Learning。
2012年6月,《纽约时报》披露了Google Brain项目,引起广泛关注。
2012年11月,微软公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅。支撑的关键技术:DNN或者深度学习(DL,Deep Learning)。
2013年1月,在百度年会上,宣布要成立百度研究院,首先要成立“深度学习研究所”(IDL,Institue of Deep Learning)
一、概述
Andrew Ng和Jeff Dean 用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”(DNN,Deep works)的机器学习模型在语音识别和图像识别等领域获得了巨大的成功。
DNN内部共有10亿个节点,而人的大脑有150多亿个神经元,互相连接的节点也就是突触数更多。
Andrew:没有自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。
Jeff:在训练的时候从来不会告诉机器说:‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。
2. Google Brain
二、背景
1. Machine Learning
机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。
机器学习应用:图像识别、语音识别、自然语言理解、基因表达、内容推荐、天气预测等等。
二、背景
特征表达
(以视觉感知为例)传感器(例如CMOS)来获得数据—>
预处理—>特征提取—>特征选择—>推理、预测或者识别。
系统主要的计算和测试工作主要耗在特征表达部分。
但实际中这部分一般都是靠人工提取特征。
2. 机器学习思路
二、背景
好特征有:不变性(大小、尺度和旋转等)和可区分性
例如:Sift:对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性
3. 特征表达方法
二、背景
问题:手工选取特征是一件非常费力、启发式(需要专业知识)的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要大量的时间。
自动地学习一些特征—> Deep Learning
( Unsupervised Feature Learning)
Unsupervised的意思就是不要人参与特征的选取过程。
4. 深度学习
机器学习技术
两次浪潮
2010 第二次浪潮
深度学习
1990 第一次浪潮
浅层学习
三、Deep Learning
1. 人脑视觉机理
研究瞳孔区域与大脑皮层神经元的对应关系—>神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。
—>从原始信号,做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度抽象的概念。
人的视觉系统的信息处理是分级的。
瞳孔摄入像素
初步处理:
(大脑皮层某些细胞)发现边缘和方向
抽象:
(大脑判断)
进一步抽象:
(大脑进一步判定该物体)
深度学习机制更接近人脑
深度学习和人类学习的共同点
※
三、Deep Learning
高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图。而抽象层面越高,存在的可能猜测就越少,就越利于分类。
例如,单词集合和句子的对应是多对一的,句子和语义的对应又是多对一的,语义和意图的对应还是多对一的,这是个层级体系。
核心:
分层。Deep learning的deep就表示存在的层数,也就是有多深。
其思想是堆叠多个层,即这一层的输出作为下一层的输入。通过这种方式,可以实现对输入信息进行分级表达。
2. 深度学习思想
Input/
Output
Input
Output