文档介绍：Deep Learning 的学****笔记目录: 一、概述二、背景三、人脑视觉机理四、关于特征、特征表示的粒度、初级(浅层)特征表示、结构性特征表示、需要有多少个特征? 五、 Deep Learning 的基本思想六、浅层学****Shallow Learning )和深度学****Deep Learning ) 七、 Deep learning 与 work 八、 Deep learning 训练过程、传统神经网络的训练方法、deep learning 训练过程九、 Deep Learning 的常用模型或者方法、AutoEncoder 自动编码器、Sparse Coding 稀疏编码、Restricted Boltzmann Machine(RBM) 限制波尔兹曼机、Deep works 深信度网络、Convolutional works 卷积神经网络十、总结与展望十一、参考文献和 Deep Learning 学****资源一、概述 Artificial Intelligence ,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生“自我”的意识。是的,在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离开了这两者,它甚至都不能分辨一个喵星人和一个汪星人。图灵(图灵,大家都知道吧。计算机和人工智能的鼻祖,分别对应于其著名的“图灵机”和“图灵测试”) 在 1950 年的论文里,提出图灵试验的设想,即,隔墙对话,你将不知道与你谈话的,是人还是电脑。这无疑给计算机,尤其是人工智能,预设了一个很高的期望值。但是半个世纪过去了,人工智能的进展,远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们,心灰意冷,认为人工智能是忽悠,相关领域是“伪科学”。但是自 2006 年以来,机器学****领域,取得了突破性的进展。图灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是, D eep Learning 。借助于 Deep Learning 算法,人类终于找到了如何处理“抽象概念”这个亘古难题的方法。 2012 年 6 月,《纽约时报》披露了 Google Brain 项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学****教授 Andrew Ng 和在大规模计算机系统方面的世界顶尖专家 JeffDean 共同主导, 用 16000 个 CPU Core 的并行计算平台训练一种称为“深度神经网络”(DNN ,Deep works )的机器学****模型(内部共有 10 亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道,人脑中可是有 150 多亿个神经元,互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过,如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来,并拉成一根直线,可从地球连到月亮,再从月亮返回地球),在语音识别和图像识别等领域获得了巨大的成功。项目负责人之一 Andrew 称: “我们没有像通常做的那样自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学****另外一名负责人 Jeff 则说: “我们在训练的时候从来不会告诉机器说: ‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。” 2012 年 11 月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅。据报道, 后面支撑的关键技术也是 DNN ,或者深度学****DL ,DeepLearning )。 2013 年 1 月,在百度年会上,创始人兼 CEO 李彦宏高调宣布要成立百度研究院,其中第一个成立的就是“深度学****研究所”(IDL , Institue of Deep Learning )。为什么拥有大数据的互联网公司争相投入大量资源研发深度学****技术。听起来感觉 deeplearning 很牛那样。那什么是 deep learning ?为什么有 deep learning ?它是怎么来的?又能干什么呢?目前存在哪些困难呢?这些问题的简答都需要慢慢来。咱们先来了解下机器学****人工智能的核心)的背景。二、背景机器学****Machine Learning )是一门专门研究计算机怎样模拟或实现人类的学****行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学****能力呢? 1959 年美国的塞缪尔(