文档介绍：文献来源：
Y. Le Cun, B. Boser, J. S. Denker, R. E. Howard, W. Habbard, L. D. Jackel, and D. Henderson. Handwritten digit recognition with a back-propagation network. In Advances in neural information processing systems 2, 1989
本文使用BP网络进行手写数字识别，与以往将特征向量作为输入不同，该网络直接将图像作为输入，说明BP网络具有处理大量低级信息（low level information）。良好的泛化能力可通过在网络设计过程中引入先验知识得到。一个基本设计原则是减少自由参数（free parameters）,而不用过度减少网络的计算能力。另一方面，要在网络结构中涉及合适的约束条件。
INTRODUCTION
ZIPCODE RECOGNITION
选择手写数字识别作为研究对象是因为这是一个相对简单的机器视觉任务：
；
；
；
存在的问题：
1. 一般要得到较好的训练效果，隐层数目不能太少，当图片大的时候，需要的权值会非常多！
2. 对平移、尺度变化敏感（比如数字偏左上角，右下角时即识别失败）
3. 图片在相邻区域是相关的，而这种网络只是一股脑把所有像素扔进去，没有考虑图片相关性。
用最简单的神经网络进行识别28*28像素的图片
ZIPCODE RECOGNITION
选用的数据集来自纽约邮局真实的数据，包括各式各样的手写数字。作为补充，还加入了35种字体的打印数字。
训练集：7291条手写数字，2549条打印数字
测试集：2007条手写数字，700条打印数字
训练集与测试集中的打印数字的字体不同
训练集与测试集中包含歧义的、未分类、无分类的数据
PREPROCESSING
在字符识别的过程中，识别算法不需要关心图像的彩色信息。因此，需要将彩***像转化为灰度图像。经过灰度化处理后的图像中还包含有背景信息。因此，我们还得进一步处理，将背景噪声屏蔽掉，突显出字符轮廓信息。二值化处理就能够将其中的字符显现出来，并将背景去除掉。
THE NETWORK
预处理之后，多层神经网络进行识别。网络中的所有连接都是自适应的。
输入：归一化图像
输出：10个类，如数字 2 的结果如下：-1 -1 1 -1 -1 -1 -1 -1 -1 -1
全连接的网络由于有太多的自由参数而不能进行良好的泛化：全局、局部
局部感受野、权值共享、feature map
每种滤波器的参数不一样，表示它提出输入图像的不同特征，例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为Feature Map。
一个feature map中的所有神经元使用相同过滤器，不同层的feature map 使用不同的过滤器。
卷积神经网络结构
一般地，C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。
卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取的计算层（S-层），这种特有的两次特征提取结构减小了特征分辨率。
卷积和子采样过程
用一个可训练的滤波器fx去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积的feature map），然后加一个偏置bx，得到卷积层Cx。
卷积层的输出= Sigmoid( Sum(卷积) +偏移量)
子采样（subsampling）过程包括：每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的feature map Sx+1
输出= Sigmoid( 采样*权重 +偏移量)