基于双曲正切函数的修正线性单元

来源 :计算机集成制造系统 | 被引量 : 0次 | 上传用户：zwj_10061

【摘要】

：

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于ta

【作者】

：

刘坤华钟佩思徐东方夏强刘梅

【机构】

：

山东科技大学先进制造技术研究中心

【出处】

：

计算机集成制造系统

【发表日期】

：

2020年1期

【关键词】

：

激活函数双曲正切函数修正线性单元泄露修正线性单元指数线性单元深度学习 activation functiontangentrectified line

【基金项目】

：

国家自然科学基金资助项目(51375282),山东省重点研发计划资助项目(2018GGX106001),山东省高等学校科学技术计划资助项目(J18KA009,J16LB58),山东科技大学研究生科技创新资助项目(SDKDYC180334,SDKDYC180329)

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的

其他文献

大型复杂雕塑型面钢架特征曲线快速设计方法

为解决复杂雕塑型面钢架的特征曲线快速设计问题,基于几何约束建立设计问题的数学模型,并完成了数学问题的求解;针对特征曲线分支和多孤立图形的问题,采用广度优先遍历算法对

期刊

复杂雕塑型面型面钢架特征曲线广度优先遍历几何约束多段线程序法建模sculpture surfacesurface steel framechara

课程整合与综合项目教学法相结合的实践

[摘要]以综合项目为主线，对高职《网络技术》课程进行课程整合，既能培养学生的综合应用力，又能培养学生实际工作能力，有效培养社会急需的实用型人才。　　[关键词]课程整合　综合项目　项目教学法　教学实践　　　　高等职业教育的根本任务是培养适应现代化建设需要的高技能专门人才和高素质劳动者，培养面向生产和社会实践第一线的实用人才，强调实践能力的培养是高职教育的显著特征。面对市场日益激烈的竞争，如何才能使学

期刊

课程整合综合项目项目教学法教学实践

浅谈中学生逆反心理的成因及对策

逆反心理是一种特殊的反对态度，指个体在接受外来的教育、规范、制约等刺激影响的过程中所产生的一种与大多数人对立、与常理相悖的心理状态或情绪反应。它是一种内心的反向力量，对教育者有明显的“反控制”和“对抗”心理。中学生的逆反心理如果不加以有效地应对，对于学生的成长是极其不利的。以下笔者就初中生产生逆反心理的原因以及应对的策略谈谈自己的看法。　　　　一、逆反心理产生的原因　　　　中学生出现逆反心理的原因

期刊

学生逆反心理成因情绪反应心理状态教育者反控制中学生初中生

革新教案要做到四结合

马渭夏在《基础教育课程》中撰文指出，传统教案编写方式显现出许多弊端，主要表现在：形式严整，不够灵活；内容封闭，少有生成；功能单一，实效性差；缺少合作，闭门造车；局限性强，延展性差。要改

期刊

传统教案《基础教育课程》革新教育教学观念编写方式实效性延展性教师

国际贸易重点问题辅导

【正】 1 重点名词对外贸易额——又称对外贸易值或进出口贸易额(值)。是指以货币表示的一国的进出口贸易。在数值上它等于一国的进口贸易额(值)加出口贸易额(值)之和。国际

期刊

国际贸易国际分工对外贸易额进出口贸易额出口导向商品进口贸易工业部门最惠国待遇贸易壁垒

经典诵读：夯实师生的人文素养基础

桂平市城西小学从2004年秋季期开始启动经典诵读活动，这项活动从一开始便受到全校师生的热烈欢迎，显示出中国优秀传统文化的巨大魅力。　　中华五千年文明留下了博大精深的优秀传统文化，其重要代表就是《大学》、《中庸》、《论语》、《老子》、《易经》、《孟子》等经典名著。这些经典是我们民族心灵的结晶，是我们民族的最高智慧，是我们民族生存发展的思想根基和相互联系的精神纽带。当前教育界倡导诵读经典，这是传承中华

期刊

诵读活动人文素养师生中国优秀传统文化城西小学桂平市

包头地区结肠癌的临床病理特点及演变

目前对包头地区结肠癌的发病情况，临床及病理特点变化尚不清楚，为此，我们调查了我院1995年至2005年10年间经肠镜及病理记录的结肠癌患者，回顾性分析其临床及病理特点，并通过比较前

期刊

临床病理特点包头地区演变趋势结肠癌发病情况癌患者

经皮Gamma钉治疗股骨粗隆部骨折

粗隆部骨折是中老年人较常见的骨折，由于内固定冶疗可早期下床活动，有利于术后护理与康复，降低了畸形愈合与不愈合率，随着内固定技术和材料的发展，临床应用较为普遍，该项技术的操作

期刊

股骨粗隆部骨折GAMMA钉治疗经皮内固定技术早期下床活动中老年人术后护理畸形愈合

学会制订学习计划

有的同学对制订学习计划感到无所谓甚至认为增加了自己的学习负担,殊不知,很多学习成绩好的同学,尤其是每年的高考状元,他们都有自己的学习计划,那么,怎样制订适合自己的学习

期刊

学习计划高考状元学习负担学习成绩学习行为缺乏时间学习活动集体活动课外作业单调乏味

谷胱甘肽治疗酒精性肝病临床观察

近年来，我们应用谷胱甘肽治疗酒精性肝病取得较好的疗效，现报告如下。1 资料与方法1．1 病例选择 2003—2006年在我科住院的酒精性肝病患者159例，均符合文献[1]中酒精性肝病的诊断

期刊

酒精性肝病谷胱甘肽临床观察治疗病例选择肝病患者

基于双曲正切函数的修正线性单元

与本文相关的学术论文