文档介绍：该【卷积神经网络CNN 】是由【wxq362】上传分享，文档一共【41】页，该文档可以免费在线阅读，需要了解更多关于【卷积神经网络CNN 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。CNN的早期历史
卷积神经网络CNN
,“Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition,”BiologicalCybernetics,,–202,1980
,,,,,,,“Backpropagationappliedtohandwrittenzipcoderecognition,”NeuralComputation,,,–551,1989
,,,,“Gradient-basedlearningappliedtodocumentrecognition,”ProceedingsoftheIEEE,,,–2324,1998
1
第1页,共41页。
DL时代的CNN扩展
AKrizhevsky,ISutskever,
:
,-:,2014
,,,,,,,,(&arXiv:,2014)
2
第2页,共41页。
卷积——示例
3
第3页,共41页。
卷积——形式化
4
第4页,共41页。
卷积——why?
有限连接,Kernel比输入小
连接数少很多,学****难度小,计算复杂度低
m个节点与n个节点相连O(mn)
限定k(<<m)个节点与n个节点相连,则为O(kn)
5
第5页,共41页。
卷积——why?
有限连接,Kernel比输入小
连接数少很多,学****难度小,计算复杂度低
m个节点与n个节点相连O(mn)
限定k(<<m)个节点与n个节点相连,则为O(kn)
6
第6页,共41页。
卷积——why?
有限(稀疏)连接
Kernel比输入小
局部连接
连接数少很多
学****难度小
计算复杂度低
层级感受野(生物启发)
越高层的神经元,感受野越大
7
第7页,共41页。
卷积——why?
(参数共享)
Tiedweights
进一步极大的缩减参数数量
等变性
配合Pooling可以获得平移不变性
对scale和rotation不具有此属性
8
第8页,共41页。
CNN的基本结构
三个步骤
卷积
突触前激活,net
非线性激活
Detector
Pooling
Layer的两种定义
复杂定义
简单定义
有些层没有参数
9
第9页,共41页。
Pooling
10
定义(没有需要学****的参数)
replacestheoutputofthenetatacertainlocationwithasummarystatisticofthenearbyoutputs
种类
maxpooling
(weighted)averagepooling
第10页,共41页。