文档介绍：浅谈深度学****主要内容2006年以来,机器学****领域中一个叫“深度学****的课题开始受到学术界广泛关注,如今拥有大数据的互联网公司争相投入大量资源研发深度学****技术。一、机器学****二、为什么有Deeplearning?Why?三、什么是Deeplearning?What?四、怎么来的?五、Deeplearning与神经网络的异同*一、机器学****机器学****MachineLearning)是一门专门研究计算机怎样模拟或实现人类的学****行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。简单的说,机器学****就是通过算法,使得机器能从大量的历史数据中学****规律,从而对新的样本做智能识别或预测未来。1959年美国的塞缪尔(Samuel)设计了一个下棋程序,这个程序具有学****能力,它可以在不断的对弈中改善自己的棋艺。4年后,这个程序战胜了设计者本人。又过了3年,这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学****的能力,提出了许多令人深思的社会问题与哲学问题。这种程序水平达到一定程度很容易,但再进一步就不容易了。深蓝是90年代机器学****理论有了突破之后才出来的。*二、Why?机器学****虽然发展了几十年,但还是存在很多没有良好解决的问题。例如以视觉感知为例,通过机器学****去解决这些问题的思路:InputFeatureRepresentationLearningAlgorithm手工选取特征不太好,那么能不能自动地学****一些特征呢?答案是能!DeepLearning就是用来干这个事情的,它有一个别名UnsupervisedFeatureLearning。Why?答案:让机器自动学****良好的特征,而免去人工选取过程。*三、What?深度学****是机器学****研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学****的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学****是无监督学****的一种。深度学****的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学****结构。深度学****通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。*四、怎么来的?从机器学****的模型结构层次来分,机器学****经历了两次浪潮:1、浅层学****ShallowLearning):机器学****第一次浪潮2、深度学****DeepLearning):机器学****第二次浪潮*1、浅层学****20世纪80年代末期,由于人工神经网络的反向传播算法(BP算法)的发明,给机器学****带来了希望,掀起了基于统计模型的机器学****热潮。这个热潮一直持续到今天。基于统计的机器学****方法可以让一个人工神经网络模型从大量训练样本中学****统计规律,从而对未知事件做预测。这个时候的人工神经网络,虽也被称作多层感知机(Multi-layerPerceptron),但实际是一种只含有一层隐层节点的浅层模型。*1、浅层学****20世纪90年代,各种各样的浅层机器学****模型相继被提出,例如支撑向量机(SVM)、Boosting、最大熵方法(LR)等。这些模型的结构基本上可以看成带有一层隐层节点(如SVM、Boosting),或没有隐层节点(如LR)。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下,由于理论分析的难度大,训练方法又需要很多经验和技巧,这个时期深度人工神经网络反而相对沉寂。*2、深度学****2006年,加拿大多伦多大学教授、机器学****领域的泰斗GeoffreyHinton等在《Science》上发表了一篇文章[1],开启了深度学****在学术界和工业界的浪潮。这篇文章有两个主要观点:1)多隐层的人工神经网络具有优异的特征学****能力,学****得到的特征对数据有更本质的刻画,从而有利于可视化或分类。2)深度神经网络在训练上的难度,可以通过“逐层初始化”来有效克服,在这篇文章中,逐层初始化是通过无监督学****实现的。[1]Hinton, Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-Whye .(30)4:725-732.*当前多数分类、回归等学****方法为浅层结构算法,其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约。深度学****可通过学****一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示,并展现了强大的从少数样本中集中学****数据集本质特征的能力。(多层的好处是可以用较少的参数表示复杂的函数)*2、深度学****