文档介绍：【Applicable to lecture training work report】
《深度学****的基本理论与方法》
深度学****的基本理论与方法
目 录
概述
动机
深度学****简介
深度学****的训练过程
深度学****的具体模型及方法别：
1）强调了模型结构的深度，通常有5-10多层的隐层节点；
2）明确突出了特征学****的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学****特征，更能够刻画数据的丰富内在信息。
深度学****br/>好处：可通过学****一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。
深度学****vs. 神经网络
神经网络 ： 深度学****br/>深度学****vs. 神经网络
相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic 回归模型。
不同点：
神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；
深度学****采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deep network（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradient diffusion（梯度扩散）。
深度学****vs. 神经网络
神经网络的局限性：
1）比较容易过拟合，参数比较难调整，而且需要不少技巧；
2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；
深度学****训练过程
不采用BP算法的原因
（1）反馈调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越来越小；
（2）收敛易至局部最小，由于是采用随机值初始化，当初值是远离最优区域时易导致这一情况；
（3）BP算法需要有标签数据来训练，但大部分数据是无标签的；
深度学****训练过程
第一步：采用自下而上的无监督学****br/>1）逐层构建单层神经元。
2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。
这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。
深度学****训练过程
wake-sleep算法:
1）wake阶段：
认知过程，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。
2）sleep阶段：
生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。
深度学****训练过程
Encoder
Decoder
Input Image
Class label
.
Features
Encoder
Decoder
Features
Encoder
Decoder
AutoEncoder:
深度学****训练过程
第二步：自顶向下的监督学****160;     
这一步是在第一步学****获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学****利用梯度下降法去微调整个网络参数。
深度学****的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学****模型是通过无监督学****输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。
深度学****的具体模型及方法
自动编码器（ AutoEncoder ）
稀疏自动编码器(Sparse AutoEncoder)
降噪自动编码器(Denoising AutoEncoders)
深度学****的具体模型及方法
Encoder
Decoder
Input (Image/ Features)
Output Features
.
Feed-back / generative / top-down
path
Feed-fo