文档介绍：:[1]Krizhevsky,A.,Sutskever,I.,&Hinton,.(2012).(-1105).[2]Zeiler,.,&Fergus,R.(2013).:.[3]:AComprehensiveFoundation[J].prehensiveFoundation,1994:71-80.[4]HaganMT,BealeM,[M].ChinaMachinePress,:垃圾邮件分类、疾病分类、猫狗分类能自动对输入的东西进行分类的机器,就叫做分类器;分类器的输入是一个数值向量,叫做特征(向量)。分类器的输出也是数值。分类器的目标就是让正确分类的比例尽可能高。一般我们需要首先收集一些样本,人为标记上正确分类结果,然后用这些标记好的数据训练分类器,训练好的分类器就可以在新来的特征向量上工作。Loremipsumdolorsitamet,:ax+by+c=0n维空间:h=a_1x_1+a_2x_2+...+a_nx_n+a_0=0神经元模型的一种学面/超平面,然后把样本一个个拿过来,如果这条直线分错了,说明这个点分错边了,就稍微把直线移动一点,让它靠近这个样本,争取跨过这个样本,让它跑到直线正确的一侧;如果直线分对了,它就暂时停下不动。Loremipsumdolorsitamet,,它的每一层都是由若干神经元节点构成,该层的任意一个节点和上一层的每一个节点相连,由它们来提供输入,经过计算产生该节点的输出并作为下一层节点的输入Loremipsumdolorsitamet,:它只能切一刀!解决办法是多层神经网络,底层神经元的输出是高层神经元的输入。神经网络神奇的地方在于它的每一个组件非常简单——把空间切一刀+某种激活函数(0-1阶跃、sigmoid),但是可以一层一层级联。输入向量连到许多神经元上,这些神经元的输出又连到一堆神经元上,这一过程可以重复很多次。神经网络的训练依靠反向传播算法:最开始输入层输入特征向量,网络层层计算获得输出,输出层这时它就让最后一层神经元进行参数调整,最后一层会勒令连接它的倒数第二层神经元调整,层层往回退着调整。上图是一个能够模拟异或运算的数据集,从图中可以看出,左下角和右上角的点为蓝色,而另外两个象限的点为红色,这就符合异或运算的计算规则。当加入隐藏层之后,异或问题就可以得到很好的解决。构造一个超大型卷积神经网络[1],有9层,共65万个神经元,6千万个参数。网络的输入是图片,输出是1000个类大型神经网络第一层:识别颜色和简单纹理第二层:识别更加细化的纹理,比如布纹、刻度、叶纹第三层:负责感受黑夜里的黄色烛光、鸡蛋黄、高光第四层:识别萌狗的脸、七星瓢虫和一堆圆形物体的存在第五层:可以识别出花、圆形屋顶、键盘、鸟、黑眼圈动物虽然单个神经元傻不拉叽,但是65万个神经元能学到的东西很深邃。当学习率过大时,梯度下降算法的运行过程神经网络优化算法反向传播算法和梯度下降算法指数衰减学习率随着迭代轮数的变化图从左图可以看出,无论进行多少次迭代,参数将在5和-5之间摇摆,而不会收敛到一个极小值。相反,学习率过小时,虽然能保证收敛性,但是这会大大降低优化速度。为此我们可以采用更加灵活的学习率设置方法———(LabeledFacesintheWild)上,%(ORC)是使用深度学习比较早的领域之一。在MNIST手写体数字识别数据集上,%的正确率