文档介绍：N卷积神经网络Outlineconvolutionpoolingsparseconnectivityparametersharingequivariantrepresentation卷积层--convolution池化层--pooling全连接层—N-Overview卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物的视觉皮质细胞负责在感知域内探测光照,受其启发,N的先驱。1990年,N结构的重要文章,-5的多层前馈神经网络,并将其用于手写体识别。就像其他前馈神经网络,它也可以使用反向传播算法来训练。它之所以有效,是因为它能从原始图像学习到有效的特征,几乎不用对图像进行预处理。然而由于当时训练数据量的缺乏以及计算能力的不足,-5无法在复杂问题上表现的很好,比如大规模图像分类以及视频分类处理。YannLeCun:纽约大学/Facebook自2006年以来,Ns时遇到的困难。网络,-5很相似,但是在图像分类任务上有了很大的提升。的成功,又有很多新的神经网络被提出来以提升它的性能。(2014)(2015)(2014)(2015)—N-(2014)(2015)(2014)(2015)—-5(1990)(2012)上述这些神经网络一个很重要的趋势就是deeper,的20倍,的8倍。随着深度的增加,网络能够更好的逼近非线性目标方程,并且能够学习到更加有效的特征。当然这也增加了模型的复杂度,使得模型很难训练并且容易过拟合。Ns的训练和过拟合问题。和传统的前馈神经网络类似,整个网络的模型有几种因素决定。我们传统的前馈神经网络隐藏层一般是全连接的,而CNN的隐藏层又分为convolutionallayer,poolinglayer和最后的fully-connectedlayer,N的重要原因,而另外各个神经元激活函数的选择以及整个网络损失函数的选择都与FNN类似。-N的应用也很广泛,其中包括图像分类,目标检测,目标识别,目标跟踪,N-N有convolutionallayer和poolinglayer,然后和最后的fully-connectedlayer共同构成卷积神经网络。而中间的隐藏层的连接方式又有三个重要的思想:sparseconnectivityandparametersharingandequivariantrepresentationconvolutionoperationandpoolingoperationConvolution右图就是一个2维卷积的示意图,这里因为是离散的卷积,所以可以直接把卷积理解为矩阵相乘,即两个矩阵相乘,一个是输入矩阵,一个是卷积核矩阵。输入矩阵一般都表示二维的输入图像,而卷积核其实可以理解为图像处理里面的算子,比如这些算子可以实现一些边缘检测或者高斯模糊的效果,那么其实卷积操作可以理解为对图像进行一些特征处理。如图所示,一个卷积操作就是指卷积核和同样大小的一个图像矩阵相乘,然后再向下或者向右滑动卷积核,执行下一个卷积操作。N的核心思想,就是这个卷积有效的提取了图像特征用于后面的图像识别。Convolution右图的卷积核大小是2乘以2的,这可以看成是一个Roberts边缘检测算子,和左面的Input中的2*2矩阵做卷积运算相当于对点e的边缘检测。Roberts算子是一种最简单的算子,它利用局部差分算子来寻找边缘信息,它采用对角线方向相邻两像素之差来近似梯度检测边缘。-10010-110这里的Roberts算子只是一个一阶算子,提取的边缘信息还很有限,还有其他的二阶算子,比如拉普拉斯算子。而且这里Roberts算子只提取了某个像素对角线的梯度,而没有提取垂直方向和水平方向的梯度,所以还有其他的算子用于提取多个方向梯度,比如Sobel算子,Prewitt算子等。SparseConnectivity上图中红色框里面的表示稀疏连接上图中蓝色框里面表示非稀疏连接这么做是有道理的,就是根据一些生物学的研究我们的视觉感知细胞其实是局部感知的,比如我们用很小的卷积核来提取整幅图像的布局边缘信息,这时候采用全连接的意义并不大,不能学到很好的图像特征信息,而且模型复杂度还很高。ParameterSharing上图中的红色框中,黑色的箭头表示,在一个卷积网络中一个三维的卷积核的其中一个元素由于左图的权值共享,导致对于所有输入神经元,黑色箭头的值都是相同的。而下面的蓝色框中,黑色箭头表示全连接层中所有权值最中心的一个权值,它只使用了一次,没有被任何神经元再次共享。