文档介绍：Convolutional Neural Networks 卷积神经网络
卷积神经网络CNN
主要内容
卷积神经网络—诞生背景与历程
卷积神经网络应用—LeNet-5手写数字识别
深度学****Hinton做了些什么
深度学****在数字图像识别上的运用
—Hinton如何在2012年ImageNet引起轰动
卷积神经网络CNN
卷积神经网络提出的背景
浅层神经网络
大约二三十年前，神经网络曾经是机器学****领域特别热门的一个方向，这种基于统计的机器学****方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。
卷积神经网络CNN
卷积神经网络提出的背景
但是后来，因为理论分析的难度，加上训练方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。
值得指出的是，神经网络（如采用误差反向传播算法：Back Propagation，简称BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于3），从而限制了性能。
卷积神经网络CNN
浅层神经网络的缺陷
于是，20世纪90年代，有更多各式各样的浅层模型相继被提出，比如只有一层隐层节点的支撑向量机（SVM，Support Vector Machine）和Boosting，以及没有隐层节点的最大熵方法（例如LR，Logistic Regression）等，在很多应用领域取代了传统的神经网络。
显然，这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。更重要的是，浅层模型有一个特点，就是需要依靠人工来抽取样本的特征。然而，手工地选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。
能不能自动地学****一些特征呢？
卷积神经网络CNN
卷积神经网络
早在1989年，Yann LeCun (现纽约大学教授) 和他的同事们就发表了卷积神经网络（Convolution Neural Networks，简称CNN）的工作。
CNN是一种带有卷积结构的深度神经网络，通常至少有两个非线性可训练的卷积层，两个非线性的固定卷积层（又叫Pooling Layer）和一个全连接层，一共至少5个隐含层。
CNN的结构受到著名的Hubel-Wiesel生物视觉模型的启发，尤其是模拟视觉皮层V1和V2层中Simple Cell和Complex Cell的行为。
卷积神经网络CNN
卷积神经网络CNN
卷积神经网络应用
LeNet-5手写数字识别
三大特点：
1、局部感受野
2、权值共享
3、次采样（pooling）
卷积神经网络CNN
重点概念
卷积核（卷积滤波器）
特征图（Feature Map）
C层是一个卷积层：
通过卷积运算，可以使原信号特征增强，并且降低噪音
S层是一个下采样层：
利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息
F6层是经典神经网络：
输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。
卷积神经网络CNN
C1层：
输入图片大小： 32*32
卷积窗大小： 5*5
卷积窗种类： 6
输出特征图数量： 6
输出特征图大小： 28*28 (32-5+1)
神经元数量： 4707 [(28*28)*6)]
连接数： 12304 [(5*5+1)*6]*(28*28)
可训练参数： 156 [(5*5+1)*6]
卷积神经网络CNN