文档介绍：Convolutional Neural Networks 卷积神经网络
整理课件
1
Contents
机器学习，神经网络，深度学习之间的关系
什么是神经网络
梯度下降算法
反向传播算法
神经网络的训练
什么是卷积
什么是池化
LeNet-5
其它的工作
整理课件
2
Convolutional Neural Networks
机器学习，神经网络，深度学习之间的关系
整理课件
3
Convolutional Neural Networks
人工神经网络（Artificial neural network, ANN），简称神经网络（NN）
神经网络其实就是按照一定规则连接起来的多个神经元
神经元： ,
每个连接都有一个权值
什么是神经网络？
整理课件
4
Convolutional Neural Networks
梯度下降算法
梯度下降算法是用来求函数最小值的算法
每次沿着梯度的反方向，即函数值下降最快的方向，去修改值，就能走到函数的最小值附近（之所以是最小值附近而不是最小值那个点，是因为我们每次移动的步长不会那么恰到好处，有可能最后一次迭代走远了越过了最小值那个点）
整理课件
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度，简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的
BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏导的。
整理课件
6
Convolutional Neural Networks
梯度下降算法+反向传播算法
整理课件
7
Convolutional Neural Networks
整理课件
8
Convolutional Neural Networks
整理课件
9
Convolutional Neural Networks
整理课件
10