【摘 要】
：
修正线性单元（rectified linear unit,ReLU）是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,
【基金项目】
：
国家自然科学基金（61601499）
论文部分内容阅读
修正线性单元（rectified linear unit,ReLU）是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据＂输出均值接近零的激活函数能够提升神经网络学习性能＂原理对其进行改进,提出SLU（softplus linear unit）函数.首先,对负数输入部分进行softp
其他文献
[目的]探讨评教评学在护生临床带教管理中的作用。[方法]将2006届和2007届毕业实习护理专业学生作为研究对象，2007届毕业生为实验组，2006届毕业生为对照组。实验组在临床带教过
加强土地利用动态监测有利于我国土地管理部门对土地资源进行合理的规划。近几年,随着科学技术的飞跃式发展,我国已经进入了信息化时代,因此,在土地利用动态监测中也引入了遥感技术和地球信息系统GIS。本文首先对遥感和地理信息系统GIS进行了简单介绍,然后阐述了遥感和地理信息系统GIS在土地利用动态监测中的应用。
本文主要对免疫算法的人工免疫系统理论和生物学机理做了简要的分析和概述,并着重分析了国内外几种比较有代表意义的免疫算法。并分别从智能岩土的优化算法、经典的可靠度分
为了提高分析的精确性,考虑发送成功的站点可能连续发送和重传次数限制的影响,给出了分析非理想信道下IEEE 802.11 DCF性能的改进二维马尔可夫链模型,用该模型对IEEE 802.11
以均值量化索引调制（MQIM）、特征点为理论基础，提出一种新颖的强鲁棒性数字音频水印技术。该算法选取数字音频的局部能量峰值点作为特征，提取稳定的特征点；以特征点为标记，对特征点
函数是高中数学的核心内容，知识涉及面广、综合性强，在高中数学中占极其重要的地位；导数是处理和探究函数性质的重要工具，也是高中和大学知识的衔接内容，函数与导数的有机结合。发
为考察高铁酸盐氧化法对四溴双酚A的降解规律、毒性控制效能和降解机理,利用烧杯试验研究了氧化剂投加量、溶液p H对四溴双酚A降解的影响,利用发光细菌考察急、慢性生物毒性
随着国家对基础设施建设的重视,大量的公路和铁路动工修建。而随着公路,铁路和大坝等的大量修建,需要开挖的边坡的数量也在增多。边坡的开挖破坏了原有的植被,产生了严重的水