文档介绍：深度学习:推进人工智能的梦想摘要:深度学习带来了机器学习的新浪潮,推动“大数据+深度模型”时代的来临,以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度学习面临的一系列难题,人工智能的梦想不再遥远。 2012 年6月,《纽约时报》披露了 Google Brain 项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家 Jeff Dean 共同主导,用 16000 个CPU Core 的并行计算平台训练一种称为“深层神经网络”(DNN ,Deep works )的机器学习模型,在语音识别和图像识别等领域获得了巨大的成功。2012 年11月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。据报道,后面支撑的关键技术也是 DNN ,或者深度学习(DL, Deep Learning )。 2013 年1月,在百度的年会上,创始人兼 CEO 李彦宏高调宣布要成立百度研究院,其中第一个重点方向就是深度学习,并为此而成立 Institute ofDeep Learning (IDL )。这是百度成立十多年以来第一次成立研究院。 2013 年4月, 《麻省理工学院技术评论》杂志将深度学习列为 2013 年十大突破性技术(Breakthrough Technology )之首。读者一定非常好奇,什么是深度学习?为什么深度学习受到学术界和工业界如此广泛的重视?深度学习技术研发面临什么样的科学和工程问题?深度学习带来的科技进步将怎样改变人们的生活? 机器学习的两次浪潮:从浅层学习到深度学习在解释深度学习之前,我们需要了解什么是机器学习。机器学习是人工智能的一个分支,而在很多时候,几乎成为人工智能的代名词。简单来说,机器学习就是通过算法,使得机器能从大量历史数据中学习规律,从而对新的样本做智能识别或对未来做预测。从1980 年代末期以来,机器学习的发展大致经历了两次浪潮: 浅层学习( Shallow Learning )和深度学习( Deep Learning )。需要指出是, 机器学习历史阶段的划分是一个仁者见仁,智者见智的事情,从不同的维度来看会得到不同的结论。这里我们是从机器学习模型的层次结构来看的。第一次浪潮:浅层学习 1980 年代末期,用于人工神经网络的反向传播算法(也叫 Back Propagation 算法或者 BP算法)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现,利用 BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律,从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统,在很多方面显示出优越性。这个时候的人工神经网络,虽然也被称作多层感知机( Multi-layer Perceptron ),但实际上是一种只含有一层隐层节点的浅层模型。 90年代,各种各样的浅层机器学习模型相继被提出,比如支撑向量机( SVM , Support Vector Machines )、 Boosting 、最大熵方法(例如 LR,Logistic Regression )等。这些