论文部分内容阅读
针对卷积神经网络在采用Dropout算法随机选取神经元时,忽略神经元的作用能力有强有弱的局限性,提出一种DropWeight算法。首先在全连接层上,通过伯努利分布按一定概率来随机选择神经元是否激活,然后引入了一个神经元激活程度值变量。它是为未被激活的神经元们赋予较小的激活程度值,使得更新神经元的连接方式发生变化,来丰富网络的多样性和增强网络的鲁棒性。通过Mnist和Cifar-10两个标准数据集进行实验,与加入Dropout层进行比较,DropWeight层在所对应网络当中上都可找到一个最优的激活程