文档介绍：深度学****PPT
深度学****DL）
深度学****DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建出连续非线性层的神经元模型；
随后，建立带有梯度下降的BP模型，1981年首次NN得到应用；
80年代末，基于BP训练的深度神经网络（Deep NNs）依然很难实现，90年代开始成为研究主体；
1991， 通过无导学****的深度学****Deep Learning，DL）在实际中可以运用；
 2009，有导师学****的DL在大部分国际模式识别竞赛中领先于其他机器学****方法，并且第一个实现超人视觉模式识别，从此赢得广泛关注。
文献参考：Deep learning in neural networks: An overview
深度学****DL）
BP 神经网络（BPNNs）网络存在的主要问题：
1. 一般要得到较好的训练效果，隐层数目不能太少，当图片大的时候，需要的权值会非常多；
2. 对平移、尺度变化敏感（比如数字偏左上角，右下角时即识别失败）；
3. 图片在相邻区域是相关的，而这种网络只是一股脑把所有像素扔进去，没有考虑图片相关性。
深度学****DL）
最早的DL：前馈神经网络 feedforward (acyclic) NNs (FNNs) 和周期神经网络 recurrent (cyclic) NNs (RNNs) ；
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网络可以看作是由多个受限 玻 尔 兹 曼 机叠加而成，CNN通过local receptive fields（感受野），shared weights（共享权值），subsampling（下采样）概念来解决BP网络的三个问题。
手写字体识别
由手写字体组成图像样本
经典数据库：mnist，共60000训练样本，10000个预测样本；
训练样本维度：28*28*60000
训练标签维度：10*60000
图例：
CNN经典程序下载
语音识别
参考：《基于深度学****的语音识别应用研究_张建华》
该文献通过深度神经网络提取语音特征的方法、深度神经网络提取声韵母属性的方法、深度学****搭建声学模型的方法对比；
一般的语音识别多提取每帧长25ms、帧移10ms的语音对应的MFCC特征,该文提取使用fBank特征。
CNN
CNN结构图：
CNN
在Toolbox的实现中，C1共有6个卷积核，则卷积结果6个特征map;卷积层的一个map与上层的所有map都关联，如上图的S2和C3，即C3共有6*12个卷积核，
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。
输入图像：28*28
卷积层： 均为5*5
采样核大小：均为2*2。