【摘 要】
：
忆阻神经网络因其可以通过基尔霍夫电流定律和欧姆定律高速、高并行度地实现神经网络算法的核心过程——向量矩阵乘法运算,受到了学术界的广泛关注。长短期记忆（Long Short-Term Memory,LSTM）神经网络通过门控单元结构,大大缓解了原始循环神经网络（Recurrent Neural Network,RNN）严重的梯度消失问题,在时序信息处理领域具有巨大的应用潜力。然而,因其庞大的参数规模
论文部分内容阅读
忆阻神经网络因其可以通过基尔霍夫电流定律和欧姆定律高速、高并行度地实现神经网络算法的核心过程——向量矩阵乘法运算,受到了学术界的广泛关注。长短期记忆（Long Short-Term Memory,LSTM）神经网络通过门控单元结构,大大缓解了原始循环神经网络（Recurrent Neural Network,RNN）严重的梯度消失问题,在时序信息处理领域具有巨大的应用潜力。然而,因其庞大的参数规模和复杂的内部结构,LSTM网络不仅面临着比其他神经网络更为严重的算力瓶颈,还在进行忆阻实现时对阵列面积提出了苛刻的需求。为了将忆阻RNN推向实用化,有必要对其进行轻量化设计。本文设计了多种忆阻RNN的离线训练方法和权重映射方法,对比了不同模型之间的性能差异,并对其进行了轻量化设计。本文主要研究内容及结果如下:基于负反馈写入-验证电导调控法的特点,设计了忆阻RNN通用的离线训练方法并针对不同模型的特点分别设计了对应的权重映射方法。并对比了连续脉冲法和负反馈写入-验证法在V/WHf Ox/Pt忆阻突触器件上的多值电导调控效果,后者的电导态平均离散系数仅为3.31%,较前者减小了58%。对比了忆阻原始RNN、忆阻LSTM和忆阻门控递归单元（Gated Recurrent Unit,GRU）的性能,结果表明:较小的数据集时序长度或大于2%的忆阻突触器件读误差即可使忆阻原始RNN失效;忆阻LSTM和忆阻GRU则可在时序长度较大时进行有效学习,并在10%的器件读误差下进行有效的在线推断;忆阻LSTM的长时序信息学习能力最强,而忆阻GRU的隐藏层阵列占用面积较前者减少了25%,且鲁棒性更强。通过对忆阻GRU门控单元的权重矩阵进行裁切,提出了三种轻量化忆阻RNN方案。裁切全连接矩阵的方案获得了更强的长时序信息学习能力;裁切递归矩阵的方案获得了更强的对器件非理想特性的鲁棒性;仅保留偏置矩阵的方案的隐藏层阵列占用面积相比忆阻LSTM减小了近75%,已逼近RNN类模型的极限,大大削减了忆阻RNN的硬件需求。
其他文献
在航空发动机上采用质量更轻、强度更高、耐热温度更好的材料,可显著提高发动机的服役性能。TiAl合金由于密度小（约3.9 g/cm~3,不足Ni基高温合金的一半）、比强度高,在航空发动机领域受到广泛关注。但TiAl合金服役温度只有700-900℃,无法满足先进航空发动机的服役温度要求,因此需要在其表面涂覆耐高温热障涂层（Thermal Barrier Coatings,TBCs）。等离子喷涂技术是当
电致变色器件在节能智能窗、防眩镜和高对比度显示器等领域得到了广泛的应用,进一步提高其电致变色性能、丰富颜色变化和拓展应用领域已成为当前极为迫切的任务。本文以普鲁士蓝（PB）族电致变色材料作为研究对象,在Sn O2:F（FTO）薄膜上构筑Ti O2纳米棒阵列（TNRA）,再结合石墨烯（G）制备了核壳纳米结构的TNRA@G/PB复合薄膜及器件;采用一步水热法合成了具有良好电致变色性能且能够在绿色、蓝色
频发的商业丑闻,既损害员工、顾客、投资者等利益相关者的权益,也阻碍经济活动的健康发展,甚至侵蚀整个社会的伦理道德体系。因此,组织伦理研究成为组织行为学领域中的一个重要内容。在国际关系中,国际竞争并非仅限于以GDP或军费开支为基础的经济竞争或军事竞争,各国还会开展以道德声誉为内容的道德地位的竞争,以增加国际影响力和话语权。例如,各国在向联合国和平行动提供部队支援或为人道主义救济提供捐款等方面开展竞争
高碳高锰钢是历史悠久的耐磨材料,具备优越的强度、塑性以及加工硬化能力,在强冲击、高磨损等工况环境下获得了广泛应用,但其屈服强度低的缺点严重影响了其服役寿命。目前,合金化和变形是强化高碳高锰钢的主要手段。本文以高碳高锰钢为研究对象,对其进行不同合金化处理获得了五种合金化试验钢,探究了合金化对高碳高锰钢力学性能的影响,对比研究了120Mn13Mo钢、120Mn13W钢和120Mn13钢在室温下的拉伸变
某些破坏因素和各种突发的事故,可能造成人体的组织和器官功能的衰竭甚至丧失,每年需要数以百万计的手术对受损的组织和器官进行修复或更换。对于骨损伤,一般是通过自体骨移植、异体骨移植和基于骨组织工程的人工替代方法完成修复。自体骨移植将使患者的身体受到二次伤害。异体骨移植存在着较大排斥反应和不易得到合适的异体骨两方面的问题。骨组织工程的研究提供了一条新的路径,骨组织工程支架是人骨骼受损后的替代物,在体外培
氢气具有燃烧热值高、环境友好和可再生等特点,是一种理想的新型能源和能源载体,但氢能的商业化应用需要发展高效安全的储氢技术。Mg因其具有较高的理论储氢容量（7.6 wt%）、成本低廉、资源丰富等优势而备受关注,被认为是非常有潜力的储氢材料。然而,过于稳定的热力学性能及缓慢的动力学性能限制了MgH2在实际中的应用。针对上述问题,本文采用催化改性的方法,设计并制备了一系列过渡金属（Fe,Co,Ni）基催
高碳纳米贝氏体钢因其具有优异的综合力学性能,受到人们的广泛关注。然而,超长的等温相变时间严重限制其应用。因此,缩短相变时间对纳米贝氏体钢的开发与应用具有重要意义。本文以高碳钢为研究对象,从V微合金化处理和双阶等温淬火工艺优化两方面着手,采用膨胀仪和原位透射等相变分析手段,SEM、EBSD和XRD等组织表征技术,以及冲击、拉伸、磨损和疲劳等性能测试方法,系统地研究了中温等温引入VC第二相和双阶贝氏体
人民日益增长的美好生活需要和不平衡不充分发展之间的矛盾成为新时代社会主要矛盾,经济社会发展质量亟待提高。旅游业作为国民经济的战略性支柱产业,高质量发展是必须要实现的,同时也是“十四五”时期旅游发展的主题。我国旅游高质量发展建设如火如荼,但各省份在实现区域旅游高质量发展过程中存在的不足具有差异性,面临的困难具有复杂性。因此以我国省份为例,开展区域旅游高质量发展水平评价和实现路径研究具有重要意义。本文
＜正＞构建科学、公正、高效,与司法体制改革相匹配、与案件管理系统相衔接的检察人员智能化绩效考核体系,对于创新发展新时代检察工作具有重要意义。建议在制定《检察人员绩效考核实施办法》《检察人员绩效考核细则》等基础上,本着"数据整合、方便实用、适时互动、主客观结合、开放兼容、边用边完善"的原则,开发建设"检察人员智能化绩效考核平台",构建检察机关智能化绩效考核体系,实现以下功能和特点。
生活教育理论是我国教育家陶行知先生提出，该理论主要强调，教育不仅要从生活出发，还要回到生活中，以生活为落脚点。反观当前教育实情，在传统应试教育的深远影响下，教学脱离生活、理论脱离实际的现象比比皆是。为此，初中物理教师必须努力学习陶行知生活教育理论，将其充分融入日常教学中，帮助学生搭建起生活与学习的桥梁。文章结合人教版初中物理教材案例，探讨陶行知生活教育理论对初中物理实验教学的启发。