文档介绍：Convolutional Neural Networks 卷积神经网络
主要内容
卷积神经网络—诞生背景与历程
卷积神经网络应用—LeNet-五手写数字识别
深度学****Hinton做了些什么
深度学****在数字图像识别参数：一五一六 [[六0+一六]*二五]
[C三中的每个特征map是连接到S二中的所有六个或者几个特征map的,表示本层的特征map是上一层提取到的特征map的不同组合[这个做法也并不是唯一的]]
连接数计算：
一五一六00 = [[六0+一六]*二五]*[一0*一0]
六0 = 三*六+九*四+六；一六是因为每种神经元都有一个常数连接
S四层：
输入图片大小： [一0*一0]*一六
卷积窗大小：二*二
卷积窗种类：一六
输出下采样图数量：一六
输出下采样图大小：[五*五]*一六
神经元数量：四00 [五*五]*一六
连接数：二000 [二*二+一]*[五*五]*一六
可训练参数：三二 [一六*[一+一]]
C五层：
输入图片大小： [五*五]*一六
卷积窗大小：五*五
卷积窗种类：一二0
输出特征图数量：一二0
输出特征图大小：一*一 [五-五+一]
神经元数量：一二0 [一*一二0]
连接数：四八一二0 [一六*[五*五]+一]*一*一二0[全连接]
可训练参数：四八一二0 [一六*[五*五]+一]*一*一二0
F六层：
输入图片大小： [一*一]*一二0
卷积窗大小：一*一
卷积窗种类：八四
输出特征图数量：八四
输出特征图大小：一
神经元数量：八四
连接数：一0一六四一二0*八四[全连接]
可训练参数：一0一六四一二0*八四
OUTPUT层：
输入图片大小：一*八四
输出特征图数量：一*一0
最后,输出层有一0个神经元,是由径向基函数单元[RBF]组成, ,是由公式：
卷积神经网络的衰落
在很长时间里,CNN虽然在小规模的问题上,如手写数字,取得过当时世界最好结果,,CNN在大规模图像上效果不好,比如像素很多的自然图片内容理解,所以没有得到计算机视觉领域的足够重视.
深度学****的崛起
二0一二年一0月,Geoffrey Hinton和他的两个学生在著名的ImageNet问题上用更深的CNN取得世界最好结果,,输入就是图像的像素,没有用到任何的人工特征.
深度学****在图像识别中的应用
二0一二年六月,《纽约时报》披露了Google Brain项目, Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导,用一六,000个CPU Core的并行计算平台去训练含有一0亿个节点的深度神经网络[DNN,Deep Neural Networks],使其能够自我训练,对二万个不同物体的一,四00万张图片进行辨识.
在开始分析数据前,并不需要向系统手工输入任何诸如“脸、肢体、猫的长相是什么样子” Dean说：“我们在训练的时候从来不会告诉机器：‘这是一只猫’[即无标注样本].系统其实是自己发明或领悟了‘猫’的概念.”
二0一四年三月,同样也是基于深度学****方法,Facebook的 DeepFace 项目使得人脸识别技术的识别率已经达到了 %,只比人类识别 % 的正确率略低那么一点点, 九 层的神经网络来获得脸部表征,神经网络处理的参数高达 .
这个惊人的结果为什么在之前没有发生?
原因当然包括算法的提升,比如dropout等防止过拟合技术,但最重要的是,,并推出相应的桌面和移动搜索产品,二0一三年,深度学****模型被成功应用于一般图片的识别和理解.
从百度的经验来看,深度学****应用于图像识别不但大大提升了准确性,而且避免了人工特征抽取的时间消耗,,从现在开始,深度学****将取代“人工特征+机器学****的方法而逐渐成为主流图像识别方法.
总结
ANN[人工神经网络]又被称为浅层神经网络[shallow neural network,也可能使用了CNN的方法.
CNN[卷积神经网络]其实是已经很早提出来的理论,也得到了在字母识别数字识别上的好的运用,letnet-五.
DNN[深度神经网络]可近似为深度卷积神经网络[CNNs],将卷积神经网络的深度大大加