文档介绍：Deep Learning（深度学****学****笔记整理
作者：Zouxy
version 2013-04-08
目录：
一、概述
二、背景
三、人脑视觉机理
四、关于特征
、特征表示的粒度
、初级（浅层）特征表示
、结构性特征表示
、需要有多少个特征？
五、Deep Learning 的基本思想
六、浅层学****Shallow Learning）和深度学****Deep Learning）
七、Deep learning 与 Neural Network
八、Deep learning 训练过程
、传统神经网络的训练方法
、deep learning 训练过程
九、Deep Learning 的常用模型或者方法
、AutoEncoder 自动编码器
、Sparse Coding 稀疏编码
、Restricted Boltzmann Machine(RBM)限制波尔兹曼机
、Deep BeliefNetworks 深信度网络
、Convolutional Neural Networks 卷积神经网络
十、总结与展望
十一、参考文献和 Deep Learning 学****资源
一、概述
Artificial Intelligence，也就是人工智能，就像长生不老和星际
漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足
的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是
的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是
离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。
图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别
对应于其著名的“图灵机”和“图灵测试”）在 1950 年的论文里，提
出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是
电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。
但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。
这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关
领域是“伪科学”。
但是自 2006 年以来，机器学****领域，取得了突破性的进展。
图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖
于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是，
Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何处
理“抽象概念”这个亘古难题的方法。
2012年6月，《纽约时报》披露了 Google Brain 项目，吸引了公
众的广泛关注。这个项目是由著名的斯坦福大学的机器学****教授
Andrew Ng 和在大规模计算机系统方面的世界顶尖专家 JeffDean 共同
主导，用16000个 CPU Core 的并行计算平台训练一种称为“深度神经
网络”（DNN，Deep Neural Networks）的机器学****模型（内部共有
10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知
道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更
是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞
的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再
从月亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。
项目负责人之一 Andrew 称：“我们没有像通常做的那样自己
框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统
会自动从数据中学****另外一名负责人 Jeff 则说：“我们在训练的时
候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领
悟了“猫”的概念。”
2012年11月，微软在中国天津的一次活动