【摘 要】
：
在深度学习中,激活函数是人工神经网络一个重要组成部分。自适应激活函数通过添加可学习参数控制自身的形状。这些学习参数可通过反向传播算法,随着网络训练的进行得到更新。
论文部分内容阅读
在深度学习中,激活函数是人工神经网络一个重要组成部分。自适应激活函数通过添加可学习参数控制自身的形状。这些学习参数可通过反向传播算法,随着网络训练的进行得到更新。本文提出了一种针对自适应激活函数可学习参数调节的新方法NMPLAAF,并基于该方法设计出了针对CNN网络的新型激活函数Max2和针对RNN的新型激活函数MinMax。与此同时本文提出了一个猜想即每个人工神经网络都有适合自己的最优激活函数,NMPLAF可以看做是一种寻找神经网络最佳激活函数的有效方法。它不仅极大地减少了网络中自适应激活函数可学习参数的总体数量,而且加快了网络的学习速率,极大地改善了网络的泛化能力。新的激活函数可以被应用到现有的网络结构中,只需添加极少的可学习参数和计算开销。本文主要采用了MLP、CNN和RNN三种不同的网络结构,分别应用在图像,文本和语音数据集上。实验结果验证了我们的猜想,显示出我们提出的新方法的优越性。这两个新型自适应激活函数避免了梯度弥散问题,比其他激活函数具有更高的分类精度。
其他文献
在模分复用光通信系统中,模式转换是构建模分复用系统的重要环节。本论文借助光子晶体光纤独特的光学特性及灵活的设计结构等优点,提出了基于非对称双芯光子晶体的模式选择性耦合转换器,并且利用模式耦合理论以及光束传播法,分析讨论了该模式选择性耦合转换器中基模与高阶模的转换、相关独特带宽特性及制作工艺产生的误差。本论文的主要研究内容可以分为以下几方面:1.提出了一种基于混合双芯光子晶体的模式选择性耦合转换器。
目的:比较应用中医辨证联合恩替卡韦治疗与单纯应用恩替卡韦治疗e抗原阳性慢性乙肝患者48周的疗效。方法:回顾2012年5月-2017年5月就诊于肝病门诊患者的病历,共收集病例107例
目的:研究多层螺旋CT冠状动脉钙化积分与年龄、性别及冠状动脉狭窄之间的关系,并初步探讨冠状动脉钙化积分与心功能评价的相关性。方法:对78例同期行128层螺旋CT冠状动脉成像
作为当代中国的主流意识形态,社会主义核心价值观不仅是整个国家的精神支柱,也是全党全国各族人民团结奋斗的共同思想基础。国防生身为准军官,虽然有着普通大学生的身份,但是
在公路桥建设过程中,路桥过渡段的安全性被人们所重视。路基的不均匀沉降现象屡见不鲜,然而对于治理路桥过渡段的问题,国内外却没有一套相关完整的理论。本文就以斐济某路桥过渡段为例,利用MIDAS GTS NX有限元软件进行模型分析,探究桩、格栅、搭板因素对该路桥过渡段的沉降影响。从理论上分析该路桥过渡段的病害,为该处路桥过渡段施工提供参考。针对该工程拟定对桩、搭板、格栅进行不同组合分析沉降规律,根据三种
在应用数学领域,函数分片逼近问题作为研究函数逼近理论的重要组成部分,正在被越来越多的学者和相关的研究人员所重视,而图像逼近问题作为函数逼近问题的一个特例,因其在应用
在多相流现象的研究中,构建准确稳定的多相流模型一直是计算流体力学领域中的研究热点。基于晶格Boltzmann方法已发展了众多多相流模型,如伪势模型、自由能模型和化学势模型等。通过深入研究和分析发现,化学势多相流模型仍然存在一些缺陷:(1)不能适用于较低温度和较大密度比的多相流现象的模拟,模型的稳定性还有待提高;(2)模型忽略了在计算密度梯度和化学势梯度时由所使用的数值方法带来的计算误差,使得其在模
金融衍生品特别是商品期货,在世界范围内尤其是不发达国家受到了很多指责,其中一个重要原因是与粮食相关的衍生品交易有可能导致食品价格上升,从而危害很多国家的食品安全性,
习近平总书记指出,宣传思想工作是做人的工作的,要把培养担当民族复兴大任的时代新人作为重要职责。吉林省委深入贯彻落实习近平总书记重要讲话精神和党中央重大决策部署,把
近年来,道路检测问题作为智能辅助驾驶系统中的关键技术,成为计算机视觉领域的一大研究热点。为了更好地对道路与非道路区域进行区分,单目摄像机、LIDAR及双目摄像机等多种传