文档介绍：深度学习( Deep Learning )???1 /25 Outline 概念基本学习算法应用目前的困难程度?2 /25 深度学习的概念?3 /25 ?什么是 deep learning? ?深度学习:一种基于无监督特征学习和特征层次结构的学习方法。?本质:通过构建多隐层的模型和海量训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。?含多隐层的多层感知器就是一种深度学习结构。?? DL 训练过程?4 /25 ?深度学习的基本思想: ?对于 Deep Learning ,需要自动地学习特征,假设有一堆输入 I,输出是 O,设计一个系统 S(有 n层),形象地表示为: I =>S1=>S2=>.....=>Sn => O ,通过调整系统中参数,使得它的输出仍然是输入 I,那么就可以自动地获取得到输入 I的一系列层次特征,即 S1 , ..., Sn 。?深度学习训练过程: ?第一步:采用自下而上的无监督学习? 1 )逐层构建单层神经元。? 2 )每层采用 wake-sleep 算法进行调优。每次仅调整一层,逐层调整。 DL 训练过程?5 /25 ? wake-sleep 算法: ?1) wake 阶段: ?认知过程,通过外界的特征和向上的权重(认知权重)产生每一层的抽象表示(结点状态),并且使用梯度下降修改层间的下行权重(生成权重) 。?2) sleep 阶段: ?生成过程,通过上层概念( Code )和向下的生成( Decoder )权重,生成下层的状态,再利用认知( Encoder )权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差,利用梯度下降修改层间向上的认知( Encoder )权重。 DL 训练过程?6 /25 ?第二步:自顶向下的监督学习?这一步是在第一步学习获得各层参数进的基础上,在最顶的编码层添加一个分类器(例如罗杰斯特回归、 SVM 等),而后通过带标签数据的监督学习,利用梯度下降法去微调整个网络参数。 DL 模型?7 /25 ?深度学习的具体模型及方法: ? 1 、自动编码器( AutoEncoder ) ? 2 、稀疏自动编码器(Sparse AutoEncoder) ? 3 、限制波尔兹曼机( Restricted Boltzmann Machine ) ? 4 、深信度网络( Deep works ) ? 5 、卷积神经网络( Convolutional Neural Networks ) 自动编码器?8 /25 ?1、自动编码器( AutoEncoder ) ?将 input 输入一个 encoder 编码器,就会得到一个 code ,这个 code 也就是输入的一个表示,再加一个 decoder 解码器,这时候 decoder 就会输出一个信息, 那么如果输出的这个信息和一开始的输入信号 input 是很像的(理想情况下就是一样的),就有理由相信这个 code 是靠谱的。所以,通过调整 encoder 和 decoder 的参数,使得重构误差最小,就得到了输入 input 信号的第一个表示了,也就是编码 code 了。?因为是无标签数据,所以误差的来源就是直接重构后与原输入相比得到。稀疏自动编码器?9 /25 ?2、稀疏自动编码器(Sparse AutoEncoder) ?如上图,其实就是限制每次得到的表达 code 尽量稀疏。因为稀疏的表达往往比其他的表达要有效。?在 AutoEncoder 的基础上加上 L1的 Regularity 限制( L1主要是约束每一层中的节点中大部分都要为 0,只有少数不为 0),就可以得到 Sparse AutoEncoder 法。 RBM ?10 /25 ?3、限制波尔兹曼机( RBM ) ?定义:假设有一个二部图,同层节点之间没有链接,一层是可视层,即输入数据层( v),一层是隐藏层(h) ,如果假设所有的节点都是随机二值( 0,1 )变量节点,同时假设全概率分布 p(v,h) 满足 Boltzmann 分布,称这个模型是 RBM 。