文档介绍：深度学习之
目
录

1 概述 3 网络结构
2 研究方法 4 特点
概述

20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感
和方向选择的神经元时发现其独特的网络结构可以有效地降低反
馈神经网络的复杂性，继而提出了卷积神经网络
（Convolutional Neural Networks-简称CNN）。
研究方法
BP与CNN
与标准的最大的不同是：中相邻层之间的神经单元
CNN BP CNN
并不是全连接，而是部分连接，也就是某个神经单元的感知区域
来自于上层的部分神经单元，而不是像BP那样与所有的神经单元
相连接。
全连接与局部连接
研究方法
局部接受域和权值共享

二维空间上的局部接受域使得神经网络可以从输入图像中提取初级视觉
特征，如特定角度的边缘，端点和拐角等。权值共享迫使那些共享同一
组权值的神经元在输入的不同位置检测同一种特征。卷积神经网络把每
层共享相同权值的神经元组织成一个二维平面，称为特征图(Feature
Map)，
研究方法
池化操作

输出的结构的基础上在特征图的不同位置的值进行统计操作，在
保留特征的显著性的同时降低参数规模。使用统计后的结果代替
原来特征图上对应的值作为输出，这个操作过程就被称之为池化
操作。一般分为两种，平均池化、最大池化和随机池化。
网络结构
结构示意图

网络初始化输入层：输入层没有输入值，只有一个输出向量，这个向量的大CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采
小就是图片的大小，即一样层，采样层后接一层卷积 CNN的初始化主要是初始化卷积层和输出层的卷积核（权重）个32*32...这样卷积层提取出特征，再进行组矩阵
和偏置，对卷积核和权重进行随机初始化，而对偏置进行全合形成更抽象的特征，最后形成对图片对象的描述特征，CNN0初后
始化。面还可以跟全连接层，全连接层跟 BP一样。
网络结构
卷积层

卷积核大小为2*2，上一层的特征map大小为4*4，用这个卷积在
图片上滚一遍，放到上面逐个移动，得到一个一个(4-2+1)*（4-
2+1）=3*3的特征map，卷积核每次移动一步。
网络结构
卷积层C3

C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6
1516＝5*5*（6*3+6*4+3*4+6）+16
个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻
卷积层的每一个特征map是不同的卷积核在前一层要求的map上
的4个特征图子集为输入。最后一个将S2中所有特征图为输入。
作卷积并将对应元素累加后加一个偏置，再求sigmod得到的。
这样C3层有1516个可训练参数和151600个连接。
网络结构
采样层

采样层是对上一层map的一个采样处理，区域大小为scale*scale，
有些实现是取小区域的最大值。如，采用2*2小区域的均值。注意，
卷积的计算窗口是有重叠的，而采用的计算窗口没有重叠，卷积
核是2*2，每个元素都是1/4，去掉计算得到的卷积结果中有重叠
的部分。