深层神经网络预训练的改进初始化方法

来源 :电讯技术 | 被引量 : 0次 | 上传用户:shouer77
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在基于神经网络的语音识别任务中,提出根据激励函数二阶导数优化网络预训练阶段中权值初始化的方法。利用激励函数的非线性区域和自变量呈高斯分布的特性,寻找权值分布的较优方差以提升训练速度。通过比较同一学习速率下不同初始化数值对收敛速度的影响,发现此种方法可以加快预训练阶段的速度,提升神经网络训练的效率。
其他文献
构造易于操控的量子体系是未来实现高级的信息与通信中至关重要的一步,而半导体材料中的点缺陷是目前来看实现这个目的的最佳候选。一方面某些缺陷的电子态甚至在室温下亦满
2008年的金融危机爆发后,金融监管机构将系统性风险和流动性救助问题纳入了其核心监管部分。特别是每年七月份中国出现的“钱荒”事件,使得我国监管机构也越来越重视流动性风
气体钻井作为欠平衡钻井方式的一种,由于其在提高钻速、减少井漏、降低钻井成本、提高单井产量以及采收率方面都有很好的效果,受到了国内外的普遍重视,但是目前国内外针对气
介绍了某会展中心钢结构设计过程中的难点,包括结构分析、异形柱截面代换计算、柱计算长度的取值、复杂节点设计以及狭长楼板振动分析等。通过等效刚度代换,解决了异形柱截面
目的:采用描述性研究方法,了解中南大学湘雅二医院临床护士核心能力水平及护士职业规划现状;探讨核心能力与职业规划的关系,为医院进一步做好职业规划管理及制定进一步培训方案
我国拥有丰富的深层油气资源,深层油气资源的开发所面临的重大技术难题都与岩石力学密切相关,在石油开发的众多工程中,需要知道在某种应力状态下岩石是否发生破坏,例如井壁稳
致密油气的资源量大约是常规油气资源量的2.5倍,由国外的开发试验表明“井工厂”是勘探开发致密油气的有效手段。“井工厂”模式开发致密油气藏的最终目标就是节约成本,提高
目的探讨不同方法检测利福平耐药结核病的效能,并分析利福平耐药MTB菌株ropB基因突变情况。方法搜集2017年福建省泉州市下属10个县(市、区)结核病定点医院登记的同时经固体比
如何培养学生在真实的工作、生活环境中解决各种问题的能力已经成为各门学科关注的焦点,本文回顾了问题的定义、问题的解决过程、问题解决和知识的关系、问题解决的认知机制,
气体钻井技术应用于深层致密气藏,在发现、评价和提高气藏产能及减轻储层损害等方面有着常规钻井不可比拟的优势,其已成为勘探开发深层致密气藏最优方式之一,并已在新疆、四