【摘 要】
：
近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针
【基金项目】
：
国家自然科学基金(61272437,61305094)资助项目;上海市教育发展基金会和上海市教育委员会“晨光计划”(13CG58)资助项目
论文部分内容阅读
近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的
其他文献
随着新课改的实施，高中英语听力的日常教学在高考备考工作中越来越重要。本文就影响英语听力的因素和如何提高听力能力进行浅析。
大树移植是园林绿化中的一项基本作业工程,大树移植技术对于大树移植成活率具有重要影响。以高海拔地区为例,详细分析了高海拔地区云杉大树移植技术,全面概述了移植过程,以供
教学改革，是近年来教育领域的重头戏。顺应课程改革新要求，着眼学生综合发展，改变传统教学已经成为大势所趋。而生活化理念，是当前形势下需要重点关注的教学理念，以生活资源构建起
本文介绍了首钢高炉生产现状，分析了高炉炼铁技术的发展前景，提出了高炉炼铁技术结构优化的重点，即大力发展高炉喷煤技术，提高精料水平和风温，延长高炉寿命，降低工序能耗。通过技术
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
在宁德市金溪一级水电站拦河坝工程中,根据工程岩石特性与实际施工特点,通过现场生产性试验,有针对性地提出相应的爆破施工参数和爆破方法,取得了理想的工程爆破效果。说明爆
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
调查师宗县城区主要市政不同等级的24条道路行道树乔木树种的应用现状,共计有18种行道树种,隶属12科18属。树种应用频度最高为香樟,应用频度为50。树种重要值排前十为香樟、
为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下