文档介绍：深度学****的基本理论与方法
动 机——为什么要自动学****特征
一般而言，特征越多，给出信息就越多，识别准确性会得到提升；
但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。
结论：不一定特征越多越好！需要有深度学****训练过程
wake-sleep算法:
1）wake阶段：
认知过程，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。
2）sleep阶段：
生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。
深度学****训练过程
Encoder
Decoder
Input Image
Class label
.
Features
Encoder
Decoder
Features
Encoder
Decoder
AutoEncoder:
深度学****训练过程
第二步：自顶向下的监督学****160;     
这一步是在第一步学****获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学****利用梯度下降法去微调整个网络参数。
深度学****的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学****模型是通过无监督学****输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。
深度学****的具体模型及方法
自动编码器（ AutoEncoder ）
稀疏自动编码器(Sparse AutoEncoder)
降噪自动编码器(Denoising AutoEncoders)
深度学****的具体模型及方法
Encoder
Decoder
Input (Image/ Features)
Output Features
.
Feed-back / generative / top-down
path
Feed-forward / bottom-up path
自动编码器（ AutoEncoder ）
深度学****的具体模型及方法
σ(Wx)
σ(WTz)
(Binary) Input x
(Binary) Features z
.
自动编码器（ AutoEncoder ）
Encoder filters W
Sigmoid function σ(.)
Decoder filters WT
Sigmoid function σ(.)
深度学****的具体模型及方法
稀疏自动编码器(Sparse AutoEncoder)
限制每次得到的表达code尽量稀疏
限制每次得到的表达code尽量稀疏
深度学****的具体模型及方法
稀疏自动编码器(Sparse AutoEncoder)
Filters
Features
Sparse Coding
Input Patch
深度学****的具体模型及方法
σ(Wx)
Dz
Input Patch x
Sparse Features z
.
Encoder filters W
Sigmoid function σ(.)
Decoder filters D
L1 Sparsity
Training
稀疏自动编码器(Sparse AutoEncoder)
深度学****的具体模型及方法
稀疏自动编码器(Sparse AutoEncoder)
1）Training阶段：给定一系列的样本图片[x1, x 2, …]，我们需要学****得到一组基[Φ1, Φ2, …]，也就是字典。
可使用K-SVD方法交替迭代调整a [k]，Φ [k]，直至收敛，从而可以获得一组可以良好表示这一系列x的字典。
深度学****的具体模型及方法
稀疏自动编码器(Sparse AutoEncoder)
2）Coding阶段：给定一个新的图片x，由上面得到的字典，利用OMP算法求解