文档介绍：深度学****的基本理论与方法
王雪
2014年12月24日
目录
概述
深度学****简介
深度学****的训练过程
深度学****的具体模型及方法
深度学****的应用
总结
展望
参考文献
概述
2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学机器学****教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导,用16000个CPU Core的并行计算平台训练一种称为“深层神经网络”(DNN,Deep works)的机器学****模型,在语音识别和图像识别等领域获得了巨大的成功。
2012年11月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。据报道,后面支撑的关键技术也是DNN,或者深度学****DL,Deep Learning)。
2013年1月,在百度的年会上,创始人兼CEO李彦宏高调宣布要成立百度研究院,其中第一个重点方向就是深度学****并为此而成立Institute of Deep Learning(IDL)。这是百度成立十多年以来第一次成立研究院。
2013年4月,《麻省理工学院技术评论》杂志将深度学****列为2013年十大突破性技术(Breakthrough Technology)之首。
百度首席科学家吴恩达2014年12月19日表示,百度在深度学****领域的发展已经超过了谷歌与苹果,如果这项技术真具有划时代的革命意义,,也即是人工智能时代的一个重要分支,改变搜索,更改变交互。
概述
深度学****一种基于无监督特征学****和特征层次结构的学****方法
可能的的名称:
深度学****br/>特征学****br/>无监督特征学****br/>概述
良好的特征表达,对最终算法的准确性起了非常关键的作用;
识别系统主要的计算和测试工作耗时主要集中在特征提取部分;
特征的样式目前一般都是人工设计的,靠人工提取特征;
手工选取特征费时费力,需要启发式专业知识,很大程度上靠经验和运气;
是否能自动地学****特征?
Low-level sensing
Pre-processing
Feature extract.
Feature selection
Inference: prediction, recognition
传统的模式识别方法:
深度学****就是用来解答这个问题的!!
神经网络
神经网络的局限性:
1)比较容易过拟合,参数比较难调整,而且需要不少技巧;
2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优;
深度学****br/>2006年,加拿大多伦多大学教授、机器学****领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学****主要观点:
1)多隐层的人工神经网络具有优异的特征学****能力,学****得到的特征对数据有更本质的刻画,从而有利于可视化或分类;
2)深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)来有效克服,逐层初始化可通过无监督学****实现的。采用逐层训练机制的原因在于如果采用BP机制,work(7层以上),残差传播到最前面的层将变得很小,出现所谓的gradient diffusion(梯度扩散)。
深度学****br/>本质:通过构建多隐层的模型和海量训练数据(可为无标签数据),来学****更有用的特征,从而最终提升分类或预测的准确性。“深度模型”是手段,“特征学****是目的。
与浅层学****区别:
1)强调了模型结构的深度,通常有5-10多层的隐层节点;
2)明确突出了特征学****的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学****特征,更能够刻画数据的丰富内在信息。
深度学****br/>好处:可通过学****一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示。