基于神经网络图灵机的算法学习研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:soogler
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
算法学习是人工智能的核心问题之一,它是指机器通过输入-输出样例自动学习算法。神经网络图灵机引入外部记忆模块增强了网络存储临时信息的能力,它适合捕捉算法学习中存在的长距离依赖关系。然而,本文在训练神经网络图灵机学习加法、乘法等算法任务时,发现两个问题:一是模型的训练难度大,导致模型的准确率难以提升;二是模型中频繁地使用计算量大的sigmoid激活函数,导致模型训练速度慢。为了解决这两个问题,本文的主要工作如下:(1)使用课程学习策略简化任务,降低模型的训练难度。但是传统的课程学习策略存在两点问题:其一是在学习新课程时,没有复习旧课程;其二是没有根据课程的难度调整课程内容。针对问题一,本文提出一种基于固定课程比例的课程学习策略:在学习新课程时,按照给定的比例生成新课程内容;针对问题二,本文提出一种基于自适应课程比例的课程学习策略:在学习新课程时,根据课程难度调整新课程的比例。(2)使用Hard sigmoid函数代替sigmoid激活函数,减少计算量。sigmoid激活函数的函数值和导数值的计算量大。Hard sigmoid函数不仅具备sigmoid函数的主要性质,还有计算简单、容易优化的特点。使用Hard sigmoid函数代替神经网络图灵机中的sigmoid激活函数,即保证了神经网络图灵机的核心结构不发生改变,又减少了计算量。本文将该模型称为H-NTM。实验结果表明,使用本文提出的两种课程学习策略训练神经网络图灵机,模型的准确率至少提升了7%;与神经网络图灵机相比,H-NTM的训练速度至少提升了6%;在使用基于自适应课程比例的课程学习策略训练H-NTM后,H-NTM的准确率比神经网络图灵机高7%以上,训练速度比神经网络图灵机快6%以上。
其他文献
由镰孢菌引起的小麦赤霉病是世界范围内麦类作物产区广泛发生的一种病害,不仅会导致小麦产量下降,其产生的毒素还会影响粮食品质,危害人畜健康。我国引起小麦赤霉病的群体主要以禾谷镰孢菌(Fusarium graminearum)和亚洲镰孢菌(F.asiaticum)为主,为了探究小麦赤霉病菌F.graminearum和F.asiaticum群体分布与温度的关系,温度和杀菌剂同时作为选择压对病原菌的影响,本
目的:统计糖皮质激素性骨质疏松症(GIOP)患者的中医证型分布规律及特点。方法:收集在2012年9月1日至2014年12月31日在我院住院的GIOP的患者病历,参照中医证型相关标准,以患者
随着计算机软硬件技术的发展,3D动画技术因其简便、高效、更具表现力的特点得到越来越广泛的应用。在二十世纪九十年代,中国科学院陆汝钤院士提出全过程计算机辅助动画自动生
未明协议的发现与流量分类是网络流量分类的一个分支,旨在从海量的网络数据中发掘出新的协议和应用,并对多种协议的混合数据进行分类。相比于已明协议,未明协议具有协议规范
近年来光伏发电已经成为最常见的太阳能利用方式,并且随着能源革命的进行在世界各国范围内被广泛应用,因此全球光伏的装机容量迅猛增长。但是光伏电站的运维问题随之而来,因为太阳能资源本身的能量密度较低难以集中收集,所以光伏电站往往需要很大的占地面积才能对太阳能进行有效接收,装机的组件数量也十分庞大,这让电站高效的运维变得十分困难。同时,光伏电站一般安装在荒漠、山地等土地资源较差的自然环境中,需要长期面临户
随着互联网技术的飞速发展,各行各业都在使用信息化的手段来判断行业趋势,指导行业发展。各应用领域在信息化过程中所产生的数据也呈爆炸式增长。如何从这些数据中发现有价值
工业控制系统的正确可靠对经济发展、人身安全和社会稳定有着重要意义。工业控制系统面对的一个基本问题是控制中的时序问题。如何从时序规约(specification)自动生成满足该
因为在处理有问题的标记和捕获标记之间的高阶相关性上的有效性,标记嵌入(LE)已经被成功应用在很多领域。LE会先将原始标记嵌入到一个新空间,然后再学习从特征到嵌入标记的映
坡背后村是位于滇东南富宁县的一个以红苗为主要聚居群体的村落,巫傩信仰在百余年的村落发展中生生不息地延续下来。本研究以巫傩信仰为研究对象、以秩序为研究主题、在描述与分析的基础上,聚焦其社会实践的意义,并将民间宗教作为主要变量纳入其中,探讨巫傩信仰与村落秩序建构的若干问题。全文共由七章内容组成。第一章对研究背景、研究目的、研究方法、创新之处等进行介绍,对相关学术史进行回顾。第二章在对坡背后村自然环境和
钛及钛合金经过特定的阳极氧化工艺,可得到彩色的氧化膜,能提高耐蚀性和装饰性能。在生物医学材料领域,钛及钛合金经阳极氧化后,表面具有更高的生物活性和生物相容性,可作为生物种植体材料。本文用阳极氧化法分别在Na OH电解液、H_3PO_3电解液、Na_2Si O_3盐溶液中对Ti6A14V(TC4)钛合金进行不同工艺参数下的氧化着色。通过金相显微镜、SEM、XRD、XPS、AFM和3nh色差仪等测试方