dropout为什么解决过拟合
dropout能解决过拟合,原因有以下几点:
1.取平均的作用: 先回到标准的模型即没有dropout,我们用相同的训练数据去训练5个不同的神经网络,一般会得到5个不同的结果,此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结果就是数字9,其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合,取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络,随机删掉一半隐藏神经元导致网络结构已经不同,整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合,一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。
2.减少神经元之间复杂的共适应关系: 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况 。迫使网络去学习更加鲁棒的特征 ,这些特征在其它的神经元的随机子集中也存在。换句话说假如我们的神经网络是在做出某种预测,它不应该对一些特定的线索片段太过敏感,即使丢失特定的线索,它也应该可以从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1,L2正则,减少权重使得网络对丢失特定神经元连接的鲁棒性提高。
out类似于性别在生物进化中的角色:物种为了生存往往会倾向于适应这种环境,环境突变则会导致物种难以做出及时反应,性别的出现可以繁衍出适应新环境的变种,有效的阻止过拟合,即避免环境改变时物种可能面临的灭绝。
-
运动对皮肤好处有哪些
运动可以加快血液循环、出汗以及肌肤油脂的分泌,能够起到保护肌肤、增加肌肤弹性、排毒养颜和深层清洁的作用。而且经常适当的运动还可以放松心情,减轻身心和肌肤的压力,从而帮助缓解肌肤敏感、绷紧、干燥等众多肌肤问题。1、运动的时候会加快血液循环,增加皮肤血...
-
维生素e可以擦痘痘吗
维生素e可以擦痘痘。维生素e具有很不错的抗氧化、抗自由基和抗衰老的功效,用来涂抹痘痘虽然治疗作用不是很大,但也可以起到一定的缓解作用。对于皮脂分泌比较旺盛的油性皮肤来说,不要过度清洁,更应该注重清洁后的补水,让肌肤可以保持水油平衡。长痘是由于体内因素造...
-
科颜氏淡斑精华怎么用
先将肌肤清洁干净并擦拭爽肤水,然后取适量科颜氏淡斑精华精华在掌心,再轻轻拍在脸部肌肤上,也可以用手指指腹点涂在脸上,最后搭配按摩手法促进肌肤吸收即可。科颜氏淡斑精华怎么用科颜氏淡斑精华可以在早晚护肤的时候用,它可以帮助修复、美白肌肤。可以作用在颈部、...
-
维e乳可以直接涂在脸上吗
维e乳可以直接涂在脸上。维e乳也就是维生素E乳,它含有甘油和维生素E等成分,用来护肤可以起到深层滋润、软化角质和预防皮肤干裂的作用。因为其成分都是天然的,所以它可以直接涂在脸上。维生素e乳的主要作用就是改善肌肤状态,对一些干燥、起皮、缺水、皴裂的肌肤可...