一类神经网络算法的优化及收敛性分析

来源 :浙江工商大学 | 被引量 : 0次 | 上传用户:ibyxpr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
反向传播算法是最成功的训练神经网络的算法之一,但由于其具有收敛速度慢和易陷入局部极小值的缺点,使得其优化和收敛性分析成为一个热门的研究方向。加入动量项是优化反向传播算法的方法之一,它可以提升算法的收敛速度。在传统的动量反向传播算法中,动量系数取为区间(0,1)内的一个固定常数。但在这个方法下,只有当当前梯度下降方向和上一步迭代时权值改变方向相近时,才有加速收敛的效果,反之则会沿着误差增加的方向运动。基于此,设计一个能够自适应变化的动量系数,成为了优化反向传播算法的一种方式。本文提出一种新的具有自适应动量系数的反向传播算法,所提出的算法包含了文[25]和[31]的算法,并在三层前馈神经网络结构中和一定条件下,证明了均方误差函数的强收敛和弱收敛结果。数值实验表明,本文算法的收敛速度快于文[25]和[31],并且误差更小。在本文算法基础上,通过7)2范数正则化提升了算法的泛化性能,并同样在三层前馈神经网络结构中和一定条件下,证明了均方误差函数的强收敛和弱收敛结果。数值实验表明,正则化后的算法能够有效减小权值参数过大导致的过拟合现象,提升了预测准确率。
其他文献
为实现我国在2030年前实现“碳达峰”,2060年前实现“碳中和”的目标,必须将ESG作为路径支持,将环境、社会及治理与企业商业策略深度融合。ESG绩效与信息披露质量在逻辑上存在联系:首先,ESG信息作为文本信息本身理解难度较大,而通过简洁明了的表述可以提高此类信息的可理解性;其次,ESG绩效通常代表着财务绩效与投资价值,高质量的信息披露可以将该积极信号更加清晰地传递给投资者;最后,ESG绩效因其
学位
随着移动互联网的发展,企业与用户之间的距离越来越近。在线社区讨论逐渐打破传统的消费模式,成为用户消费决策的关键驱动因素。用户在购买商品或服务时会从商品评论社区搜寻关于该类商品关键词的在线评论,进行比较分析,进而衡量商品或服务是否能够满足需求。另外用户还可通过发表评论表达商品使用体验。事实上,用户发表的在线评论蕴含着其偏好或需求等有价值的信息。同时,企业通过对用户的需求或者偏好研究,传统的营销模式已
学位
随着传统审计报告弊端地显露,增强审计报告的信息含量已成当务之急。国际社会自2013年起开始对审计报告进行改革,我国财政部也积极响应国际号召,于2016年发布了第1504号准则,即在审计报告中沟通关键审计事项,其目的是希望通过审计师披露具有个性化的信息,来提升审计工作的透明度和审计报告的信息含量。但随着新准则的实践应用,关键审计事项的披露问题逐渐显现,比如同行业间或前后年间披露的事项内容趋于同质化、
学位
在医疗、金融和其他学科领域,研究者们经常会遇到如何评估处理方式对个体影响的问题,最为主流的是用条件平均处理效果(CATE)作为衡量。而实际研究中由于实验参与者的退出或是其他原因收集到的数据往往是缺失的。本文研究响应变量随机缺失下的k近邻核方法估计CATE并证明了估计量的几乎一致收敛性及其渐近正态性,给出了其区间估计。本文采用Neyman-Rubin潜在结果框架,在响应变量随机缺失的情况下,用k近邻
学位
在数理统计中,常常会涉及到非参数回归,非参数回归能够在不知道总体分布的情况下较好地利用样本数据体现的非线性特征从而来推断总体。并且非参数回归还具有回归函数受约束少、稳健性高,尤其是对于非线性问题有非常好的效果,因而非参数回归在统计推断中有着至关重要的作用。目前对于非参数回归的研究和应用也有着许多方法,例如核估计、局部多项式估计、样条估计、M估计等等。删失数据一直受到国内外众多学者的研究。因为在实际
学位
近年来,电子病历因具有高效、简便等优势得到广泛使用.这些电子病历蕴含了大量的医学信息,对其进行实体识别,可以提取出疾病部位、药物治疗等关键信息,有利于构建更完备的智能化电子病历系统,推动智慧医疗的建设.对中文电子病历进行命名实体识别主要存在技术和数据两方面的问题.技术层面上,目前对电子病历进行实体识别大多是从通用的预训练语言模型获得文本的向量表征,无法充分提取中文的偏旁部首等字形结构信息.数据层面
学位
通货膨胀是当今世界上许多国家面临的问题。通货膨胀带来的商品价格上涨会导致消费者的购买力下降,当超过一定的阈值时,就会扼杀该国经济增长。为解决上述问题,本文研究以下两个方面的内容,首先,研究赞比亚的经济增长和通货膨胀之间的关系;其次,研究与经济增长有关的特定宏观经济变量对通货膨胀的影响。以消费者价格指数衡量通货膨胀作为因变量,自变量包括利率、汇率、国内生产总值、外国直接投资、净官方发展援助、外债、净
学位
近年来,科技创新与金融的融合发展受到广泛关注。我国技术创新能力处于不断上升的趋势,高新技术产业作为科技创新的关键力量,在推动技术进步、发展新型产业过程中发挥着重要的作用,但创新过程中,常常面临融资难、融资贵的问题,导致研发活动受限,影响产业创新能力持续提高。与此同时,银行科技贷款作为科技与金融的有机结合,一方面解决了高技术产业融资难的问题,弥补了研发经费的缺口,另一方面也提高了科技创新效率,从时间
学位
随着金融服务实体经济这一本源的回归,金融与实体经济之间的联系更加紧密,实体经济内部各产业间的关联性也日渐增强。因此,在极端金融危机频发的背景下,如何准确刻画中国实体产业间的相依关系以及规避金融风险是亟待解决的关键问题,对中国经济金融体系稳定具有重要的现实意义。首先,考虑到实体产业的行业指数数据维度较高,并且指数之间的相关性较强,本文引入动态因子Copula模型估计24个行业指数间的相依关系,能有效
学位
复杂网络作为复杂系统最活跃的研究学科之一,由于其简明的交互系统拓扑结构的表达方式,已经被广泛应用在物理、生物和社会科学等领域。通常来说复杂网络都存在一定的社区结构,社区结构是对网络中节点的分组,组内连接相对紧密,组件连接相对稀疏。研究复杂网络的社团结构不仅有助于学者们分析复杂网络的各种潜在特性,而且与我们的生活也息息相关,比如图像分割、个性化推荐、主题分析等。复杂网络的社团检测方法有很多,寻找速度
学位