深度学习优化器方法及学习率衰减方式综述

来源 :数据挖掘 | 被引量 : 0次 | 上传用户:shuguang_888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习作为现今机器学习领域中的重要的技术手段,在图像识别、机器翻译、自然语言处理等领域都已经很成熟,并获得了很好的成果。文中针对深度学习模型优化器的发展进行了梳理,介绍了常用的梯度下降、动量的梯度下降、Adagrad、RMSProp、Adadelta、Adam、Nadam、ANGD等优化方法,也对学习率的衰减方式有分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减等方法进行了总结,对深度学习现阶段存在的问题以及对未来的发展趋势进行了阐述,为入门深度学习的研究者提供
其他文献
近年来,敏捷光学遥感卫星成为新一代遥感卫星的发展方向。敏捷卫星在轨对地观测成像时具有大量的工作参数与效能指标参数,二者之间存在一定的隐含关系。本文利用卫星在轨应用
上班上演"空城计",群众屡吃"闭门羹",这不仅是权力的任性,更是一种作风病,透支政府公信力,也让民心渐行渐远。"食君之禄,忠君之事",公务员领着纳税人给的工资,就要踏踏实实地为民服务,绝不能让群众"窝心""添堵"。要时刻严于律己,强化自我约束,讲规矩、守纪律,任何时候都不越雷池一步。
近日,中共中央印发了《中国共产党问责条例》(以下简称《问责条例》),要求各地区各部门认真遵照执行。《问责条例》明确了问责主体、对象,以及包括党的领导弱化、党的建设缺失、全
张北县立足发展实际,突出扶贫工作特色,针对驻村干部全部来自县直各机关事业单位,对基层情况了解不深、方法不多等问题,围绕精准脱贫政策解读、扶贫项目资金管理、党建助力脱贫攻
通过引文分析和主路径分析的方法,将Web of Science (WOS)数据库中以负面口碑为主题的文献作为研究对象,研究负面口碑的重要文献与逻辑演化路径。研究发现:Richins (1983)的
目的:探讨放射治疗转移性脊髓压迫症的效果.方法:21例转移性脊髓压迫症患者采用直线加速器6MV-X线后背单野垂直照射,3Gy/次,每周5次,DT30~39Gy,放疗中辅以地塞米松10mg加20%甘
为了实现大数据量、复杂类型数据的聚类分析,本文运用随机游走算法是将数据集合映射为图,各个数据表示节点,用一个加权函数表示数据与数据之间的关系,该加权函数能根据相似性
本文通过对我国大数据概念板块上市公司的财务指标进行分析,建立了大数据类上市公司经营绩效财务评价模型。我们运用因子分析,对62家大数据板块上市公司进行分析,从众多变量
1923年8月,弓仲韬在河北省安平县台城村建立了全国第一个农村党支部——台城特别支部。弓仲韬,1886年出生在河北省安平县台城村一个富庶家庭。1916年考入北京法政专门学校,19
农业部表示,要采取更加有力的措施,加大绿色食品政策支持和工作推进力度,稳步扩大总量规模,全面提高产业发展水平,不断增强品牌效应,推动绿色食品事业持续健康发展。农业部在广东省