【摘 要】
：
人工神经网络是当前极为火热的深度学习领域的基础,主要有三部分构成:其一为输入层;其二为隐藏层;其三为输出层。每一层的神经元相互连接,输出层所设计的优化算法能够接收输出层的结果,计算误差并将其通过神经元之间的连接进行反向传播,同时更新每条连接上的权值和偏置值,最终达到良好的分类、回归和预测等性能。优化算法作为神经网络的重要组成部分,在很大程度上决定了模型最终性能的表现。目前许多优秀的自适应算法被作为
论文部分内容阅读
人工神经网络是当前极为火热的深度学习领域的基础,主要有三部分构成:其一为输入层;其二为隐藏层;其三为输出层。每一层的神经元相互连接,输出层所设计的优化算法能够接收输出层的结果,计算误差并将其通过神经元之间的连接进行反向传播,同时更新每条连接上的权值和偏置值,最终达到良好的分类、回归和预测等性能。优化算法作为神经网络的重要组成部分,在很大程度上决定了模型最终性能的表现。目前许多优秀的自适应算法被作为主流深度学习框架的内置算法并得到广泛应用。自适应算法优点的是算法在迭代过程中,自适应地获取学习率,迭代速度较快。缺点是学习率的频繁更新以及更新幅度可能会产生振荡效果,其后期泛化能力一般不如随机梯度下降法（SGD）。自适应矩估计算法（Adam）是目前神经网络模型最常用的算法,为了研究学习率对算法性能的影响,本文介绍两类在Adam的基础上做出改进的自适应算法,其一,有界动态学习率梯度法（AdaBound）,其在Adam算法的基础上,通过设计两个边界函数用于裁剪掉极端学习率。其二,递减变换自适应梯度法（DSTAda）,其在Adam算法的基础上,通过线性函数递减地缩放学习率。我们针对这两类算法提出不同的学习率缩放策略,并在数值试验部分设计对比试验,对比各类自适应算法在同一场景下的性能,以及观察分析不同缩放策略下学习率对自适应算法的影响。
其他文献
目的:抗癫痫药物（Antiepileptic drugs,AEDs）是目前治疗癫痫的主要手段,选择有效且安全的药物尤为重要。当难治性癫痫患儿应用2种及以上AEDs联合治疗失败后,如何再调整AEDs对进一步获得更好的疗效很关键,是选用拉莫三嗪,还是选用新型AED吡仑帕奈作添加治疗,更能减少患儿发作,目前参考数据较少。本研究旨在观察AEDs联合治疗失败后添加吡仑帕奈的疗效,评估其作为添加治疗的安全性,
目的:探讨神经内镜下血肿清除术在治疗高血压脑出血（Hypertensive intracerebral hemorrhage,HICH）中的临床疗效及其对炎症因子水平的影响。方法:回顾性分析衡水市人民医院神经外科自2019年11月至2021年12月收治的高血压脑出血患者80例,根据手术治疗方案的不同分为开颅组（42例）与内镜组（38例）。比较两组患者的手术时长、术后残余血肿量、血肿量清除率、术后并
金属有机框架（MOFs）是金属离子和有机配体构成的一种新型多功能纳米材料。具有高比表面积,多孔隙率,形态可调节的优点,被广泛应用在气体运输、药物递送、催化、储能等领域。但是,MOFs自身存在导电性差的缺点,限制了其在电化学传感领域的发展。因此电化学工作者把具有多孔特性的MOFs和良好导电性的金属纳米粒子、金属氧化物、羰基材料等结合到一起,开发了功能化MOFs复合材料。功能化MOFs复合材料表现出良
目的:探讨CORM-3在大鼠肝缺血再灌注损伤致肝细胞焦亡和凋亡中的作用以及机制。方法:清洁级雄性Sprague-Dawley（SD）大鼠48只,310-370 g,随机数表法分为4组（n=12）:假手术组（S组）、缺血再灌注组（I组）、CORM-3组（C组）和STING激动剂ADU-S100组（A组）。I组、C组和A组采用可逆性结扎肝左中叶肝动脉、门静脉和胆管分支45分钟后恢复灌注的方法建立肝缺血
金属有机框架材料（MOFs）是由金属离子与有机配体配位构成的一种多孔材料,具有高比表面积和丰富的活性位点,在吸附、催化、储能等领域都有广泛应用,也为电化学发光（ECL）传感器的研究提供了新的方向。邻苯二酚在化工生产中作为原料被广泛使用,不仅对环境造成了严重污染,还会从塑料包装迁移到食品中,最终威胁人类健康。因此,设计高灵敏度、高选择性和响应快速的邻苯二酚传感器具有重要意义。本文利用MOFs及其衍生
目的:分析我国37家医院宫颈癌手术术后,病理证实无复发危险因素或仅单一中危险因素但进行术后辅助治疗的患者现状,探讨这部分患者术后接受辅助治疗的影响因素,以期指导临床治疗。方法:回顾性分析2004年至2016年在我国37家医院宫颈癌手术治疗后,病理证实无复发危险因素,或只存在单个中危因素的接受辅助治疗的宫颈癌患者7755例,将其分为无危险因素组和单一中危因素组,再根据所接受的术后治疗方式分层分析。应
背景:脑微出血（CMB）为一种独特的脑小血管疾病,是指患者脑内微小血管渗漏或破裂从而导致含铁血黄素、铁蛋白沉积,造成脑实质性亚临床损害,常见于脑干、丘脑及基底节等深部脑组织结构。肾脏和大脑均是低阻抗终末器官,两者小血管系统在解剖学和血流动力学相似,因此在小血管疾病方面两者可能有相同的发病机制,一个终末器官出现的病理生理学变化亦会存在另一个器官内。阿司匹林及氯吡格雷为临床常规抗血小板类药物,但既往有
谷胱甘肽（GSH）在肿瘤微环境（TME）中过度表达,对GSH含量进行检测可以作为癌症早期诊断的依据,除了可以作为肿瘤检测的标志物之外,利用TME中过度表达的GSH设计GSH响应性纳米药物递送系统（NDDS）,与其他无机纳米材料联合应用,通过多模式协同作用可进行癌症特异性治疗。本论文利用中空二氧化锰（h Mn O2）的荧光淬灭能力及GSH响应能力,合成h Mn O2-FITC复合材料,构建了简单快速
目的:探讨双相障碍Ⅰ型躁狂发作患者认知功能损伤的发生率、特征以及相关因素。方法:选择40例双相障碍Ⅰ型躁狂发作患者为研究对象,40例健康对照组。收集一般人口学资料和临床特征资料,采用中文版精神分裂症认知功能成套测验（The MATRICS Consensus Cognitive Battery,MCCB）评估两组的认知功能,主要包括注意警觉性、信息处理速度、推理与问题解决、视觉学习、工作记忆、社会
目的:观察安罗替尼联合热化疗用于广泛期小细胞肺癌（extensive stage small cell lung cancer,ES-SCLC）患者二线治疗的临床疗效及安全性。方法:选择2018年8月1日～2020年8月31日在哈励逊国际和平医院肿瘤内科住院且病例资料完整的经一线治疗后复发的ES-SCLC患者,共40例患者。根据随机数字表法分为观察组与对照组,20例每组。对照组患者接受伊立替康热化