忆阻器遗忘效应建模与忆阻脉冲神经网络研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:rongerxingfu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在进入智能化社会和物联网普及的今天,传统冯·诺依曼体系结构在存储墙问题和功耗问题的制约下已无法满足高性能低功耗计算的需求。为弥补传统冯·诺依曼体系结构的不足,研究人员提出了存储计算融合的新模式,其中包括类神经计算和逻辑计算。忆阻器的出现使存储计算融合的可行性进一步提高,基于忆阻器的存储计算融合被广泛研究。忆阻脉冲神经网络作为基于忆阻器的类神经计算的一种模式,具有类生物性和超低功耗的优势,是目前的研究热点。然而,忆阻脉冲神经网络的研究还处于起步阶段,器件制备、建模、电路设计、体系结构设计都需要深入研究。本文针对忆阻脉冲神经网络研究中存在的忆阻器模型不能很好地描述遗忘效应和网络体系结构硬件不友好的问题进行了深入的研究,本文的主要工作和创新点如下:(1)提出了一种新的忆阻器遗忘效应模型(FEM模型),在FEM模型的基础上又提出了描述忆阻器遗忘效应的一般性方法(FEDM)。首先分析了已有遗忘效应模型的不足,进而在FEM模型中将窗函数在边界处的取值设置为一特定值,从而避免了已有文献中的边界问题。然后将FEM模型发展为FEDM方法,该方法使用掺杂漂移和掺杂扩散的综合结果决定窗函数的取值以及内部状态的变化速率。FEDM既可以用于HP掺杂漂移模型也可以用于肖特基势垒与欧姆接触模型,经该方法改进后的模型均解决了之前模型中存在的问题,能更好地描述忆阻器遗忘效应,从而能更好地应用于忆阻器的应用开发。(2)提出了一种硬件友好的监督学习型忆阻脉冲神经网络,同时也提出了相应的监督学习算法。提出的网络采用脉冲时间编码策略,且将脉冲简化为阶跃信号,从而降低了神经元的硬件复杂度。每组突触前、后神经元之间只有一个子连接,从而克服了已有文献中的面积低效问题。提出的监督学习算法能顺利对网络进行训练,并在Iris、WBC等数据集中获得了不错的效果。同时,模拟结果表明遗忘效应对网络的性能有重大影响,在实际应用中需要选择遗忘效应弱的器件。(3)提出了一种硬件友好的无监督学习型浅层忆阻脉冲神经网络,同时也为网络设计了基于脉冲时间依赖可塑性(STDP)规则的学习算法。该网络基于脉冲时间编码策略,网络中所有的神经元在每个工作周期最多只能产生一次脉冲,且脉冲被简化为阶跃信号,从而极大降低了神经元的硬件复杂度。不使用复杂的侧抑制策略和自适应阈值电压策略,降低了整体网络的硬件复杂度。基于投票器的简单分类器设计也降低了分类器的复杂度。此外,本章也提出了相应的剪枝算法,通过剪除相似特征学习神经元、易混淆特征学习神经元和不重要突触进一步降低硬件复杂度。模拟结果表明该网络在MNIST数据集上获得了不错的识别率,优于其他基于脉冲时间编码的无监督学习型脉冲神经网络。同时模拟结果也表明忆阻器遗忘效应对网络的性能有较大影响,在实际应用中需要选择遗忘效应弱的器件,并尽量使忆阻器处于大电阻状态。模拟结果还表明剪枝算法能在大幅度减少特征学习神经元和突触数量的同时提高网络性能。(4)在无监督学习型浅层忆阻脉冲神经网络的基础上提出了硬件友好的无监督学习型深度忆阻脉冲神经网络,同时也设计了相应的STDP学习算法。在浅层网络的基础上对网络的设计策略进行适当的调整:整个网络只在池化层后使用硬侧抑制策略,从而降低了网络结构复杂度;池化层使用最早池化策略,从而降低了池化层神经元的硬件复杂度。模拟结果表明该网络能成功学习各级特征,且卷积层特征核的个数对网络性能存在影响,对于1C-FC(2C-FC)网络来说,特征核个数为4(4-30)时能获得更好的性能。此外,全连接层神经元个数、检测时阈值电压、投票神经元个数都对网络性能有着一定影响。最后,模拟结果再次验证忆阻器遗忘效应对网络性能有着很大影响,在实际应用中应尽量选取遗忘效应弱的器件。
其他文献
随着大数据时代的到来,很多科技应用领域所需要处理的数据呈现爆炸式增长,这对数据的存储,传输,处理都提出了新的更为严苛的技术要求。张量作为矩阵的高阶推广,其在存储数据的方式上有着更好的适用性,对张量的研究分析目前已然成为国际上最为前沿的问题与研究热点。其中,张量特征值概念的提出,不仅在丰富完善了张量分析这一学科的理论大厦,更在诸多科技领域有着广泛的实际应用,因此,对张量特征值的计算一直以来也是人们所
雷达是空间监视、预警防御等系统的重要传感器。雷达能否探测、跟踪感兴趣的目标并识别目标的类别对这些系统具有至关重要的影响。在空间监视和预警防御应用中,真假弹头目标的识别是最重要也最具挑战性的问题之一。雷达在探测、跟踪、识别弹头目标时,需要克服各种假目标的不利影响,主要包括:无源诱饵目标的误导、有源电子假目标的压制和混淆。针对弹头欺骗干扰技术中的实体假目标和弹载间歇采样转发干扰(Interrupted
随着计算机性能的不断提升,计算流体力学(Computational Fluid Dynamics,CFD)领域的学者们可以使用越来越复杂的模型来模拟流体的流动问题,数值模拟的精度因此得到很大的提高。但同时,数值模拟计算的规模也在不断扩大。这对于需要先将结果数据保存在硬盘中再读取出来进行可视化的传统后处理方式来说,是很难克服的I/O瓶颈。在大规模高性能计算中,超级计算机虽然可以快速地产生和处理大量的
随着科技的不断进步,各类传感器的灵敏度和精度都得到大幅度提升,因此基于观测的多目标跟踪技术的发展迫在眉睫。特别是在复杂环境中高机动性目标的观测难度增大,传统的基于数据关联技术的多目标跟踪算法性能已经很难获得质的提升。因此近年来由随机集(Random Finite Set,RFS)理论发展出的有限集统计学(Finite Set Statistics,FISST)成为了多目标跟踪领域新的研究方向。由于
随着现代控制论、人工智能、信息与通信等技术的发展,无人作战飞机(Unmanned Combat Aerial Vehicle,UCAV)的作战能力得到大幅提高,不仅能在复杂的未来战场执行侦察、预警等任务,还能执行需要高度协同的压制敌方防空系统、打击敌方地面或海上关键目标、拦截敌方战术弹道导弹和巡航导弹甚至参与空战等任务。为实现以最小的作战成本获得最大的作战收益的目的,需综合考虑UCAV及武器的性能
利用机器人执行搜索救援和反恐排爆等危险任务,可有效减少人员伤亡、提高作业效率。由于任务环境复杂多变不可预知、且结构化与非结构化地形并存,要求机器人具备全地形的快速高效通过能力。然而,移动机器人的通过能力与速度效率之间往往不可兼得:仅具备轮、履、腿三者之一的传统机器人虽然结构相对简单,但是因为运动模式单一而不具备全地形通过能力;将轮、履、腿三者组合的多运动模式机器人虽然具备全地形通过能力,但是结构复
当今软件规模和复杂程度日趋增加,提高软件的可信性已成为软件工程领域研究的焦点,尤其是在国防、金融、医疗等安全攸关领域。许多安全攸关软件,一般与数学和物理模型紧密关联,从而不可避免地会涉及大量数值计算。因此,对程序的数值缺陷和性质进行分析和验证,对于提高安全攸关软件的可信性尤为重要。抽象解释是一种通用的抽象近似理论,它为程序语义的抽象和推理提供了一个统一的理论框架,并在程序分析与验证领域得到了广泛应
在以维持统一时间、空间为目的的天基传感网中,卫星子系统的时空系统基准维护具有重要而基础的作用。利用星间链路进行星间精密测距的卫星协同定位,可以让整个星座即使在没有地面支持的情况下长时间地维护一个可用的时空基准,具有很高的实际意义和战略价值。由于卫星运动模型的非线性性,传统的协同定位理论和分析方法不能直接用于分析卫星协同定位的性能和误差演化特性,制约了卫星协同定位的发展和研究。此外,要在实际中实现卫
核学习已被广泛应用于计算机视觉、自然语言处理、遥感影像分析等众多领域。核学习通过隐式映射把原始数据投影到高维空间(甚至是无穷维),然后通过核技巧将在原始空间线性不可分数据映射为在核空间线性可分。单核学习的主要任务是如何选择一个适用于数据表达的核参数,从而提高核学习的性能。单核学习虽应用广泛,然而它却不能很好的处理具有多源异构特征的数据。多核学习通过融合一组基核巧妙的使用数据的多源异构特征来提高学习
总线式控制系统作为工业控制系统的一种重要类型,在军民装备控制领域中得到了广泛而深入的应用。基于实时以太网通信链路的总线式控制系统已成为当今工控系统发展的主流。而国内关于此类系统性能方面的研究较少,整体水平与国外仍有一定差距。随着高端装备对控制精度,响应速度以及运行安全性等要求的不断提高,迫切需要突破实时以太网分布式架构中的系统任务调度、多节点高精度同步以及总线通信安全等核心关键技术。这些关键技术涉