1 / 23
文档名称:

一种防止过拟合的方法.ppt

格式:ppt   大小:409KB   页数:23页
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

一种防止过拟合的方法.ppt

上传人:nnejja93 2019/3/19 文件大小:409 KB

下载得到文件列表

一种防止过拟合的方法.ppt

相关文档

文档介绍

文档介绍:一种防止过拟合的方法—Dropout的介绍CollegeofInformationEngineering贺敏November12,panyLogoDropout的背景及产生动机背景:深度神经网络具有多层非线性的隐含层,这使得它可以学****输入输出之间复杂的关系,然而在有限的训练数据,这将会产生采样噪音,即使训练数据和实际数据属于相同的分布,但是数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣。panyLogoDropout的背景及产生动机如何处理过拟合:earlystopping、数据集扩增(Dataaugmentation)、panyLogoDropout的背景及产生动机几种方法的区别:L1、panyLogoDropout的背景及产生动机产生动机:来源于有性繁殖基因的选择增加了随机性,在进化过程中,基因不能依赖于其他的基因,也就增强了健壮性同理,随机的删掉隐含层的一些节点后,panyLogoDropout的模型描述 Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作,不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来(只是暂时不更新而已),,在训练时,节点按照概率P决定是否工作。在测试时,不使用Dropout,但是要按比例的缩放权重,如上图b所示,这样才能保证预期输出与实际输出一致。panyLogoDropout的模型描述假设一个神经网络有L个隐含层l∈{1,2...L}标准的前向神经网络是:panyLogoDropout的模型描述使用Dropout后:在测试时的权重进行缩放硅棋焰狙婶喳哼屁靖惰莲惊缨逢冷卓拜例尉瀑弛秩荡从岔请菇颅克议浦戴一种防止过拟合的方法一种防止过拟合的方法