一种防止过拟合的方法.pptx

文档介绍：panyLogoDropout的背景及产生动机背景:深度神经网络具有多层非线性的隐含层,这使得它可以学****输入输出之间复杂的关系,然而在有限的训练数据,这将会产生采样噪音,即使训练数据和实际数据属于相同的分布,但是数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣。panyLogoDropout的背景及产生动机如何处理过拟合:earlystopping、数据集扩增(Dataaugmentation)、panyLogoDropout的背景及产生动机几种方法的区别:L1、panyLogoDropout的背景及产生动机产生动机:来源于有性繁殖基因的选择增加了随机性,在进化过程中,基因不能依赖于其他的基因,也就增强了健壮性同理,随机的删掉隐含层的一些节点后,panyLogoDropout的模型描述Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作,不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来(只是暂时不更新而已),panyLogoDropout的模型描述如图所示,在训练时,节点按照概率P决定是否工作。在测试时,不使用Dropout,但是要按比例的缩放权重,如上图b所示,panyLogoDropout的模型描述假设一个神经网络有L个隐含层l∈{1,2...L}标准的前向神经网络是:panyLogoDropout的模型描述使用Dropout后:panyLogoDropout率的选择与训练过程经过交叉验证,,。dropout也可以被用作一种添加噪声的方法,直接对input进行操作。输入层设为更接近1的数。使得输入变化不会太大()