忆阻器神经网络的权重更新方法设计与仿真

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:shawn200904
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能技术正在深刻地的影响着当代社会。凭借在机器视觉和语音识别等领域的重大突破,神经网络已成为现代人工智能的核心技术方案。然而,运行在传统硅基芯片数字平台上的人工智能算法,在很大程度上受到摩尔定律接近终结和传统冯·诺伊曼架构的限制,使得该方案的能效(性能功耗比)较差。因此迫切需要一种超越CMOS技术的新型神经形态计算体系结构。近年来,忆阻器(一种具有记忆功能的阻变器件)因其快速高效的矩阵向量乘法运算而成为神经形态计算的新型硬件解决方案,基于忆阻器的神经形态计算也因其较好的能效而受到人们的广泛关注。对于神经网络的推理过程(正向传播),忆阻器可以看作是具有可调突触权重(电导)的可变电阻。利用欧姆定律和基尔霍夫定律可以很容易地实现矢量乘法。对于网络训练过程(反向传播),可以根据随机梯度下降算法(SGD)计算待更新的权重量,并通过在器件终端上施加相应数量的电脉冲来更新突触权重。然而,忆阻器的非线性权值更新特性使其在神经网络学习过程中难以训练,进而导致忆阻神经网络的性能较低。在本论文中,我们通过修改忆阻器件阵列的差分电路结构,并基于此电路结构开发了一种自适应学习方法来更新权重,从而有效抑制了忆阻器非线性特性引起的误差,提升了网络的整体性能。此外,本论文提出的权重更新方案具有良好的硬件友好性。在权重更新过程中,无需读取忆阻器精确的电导值,也无需计算施加在器件终端上的具体电脉冲数。相较于传统的非线性随机梯度下降(SGD)算法和常用于忆阻神经网络的分段线性(PL)方法,本论文提出的方法可以大幅度降低外围控制电路的复杂程度。最后,我们基于忆阻器构筑了经典的卷积神经网络LeNet-5,并根据本论文提出的方法完成了LeNet-5的权重更新过程。仿真实验结果表明,在忆阻器非线性值为±1的典型情况下,本论文方案对MNIST手写体数据集的识别准确率可以达到94%。其在线学习性能显著超过传统的基于忆阻器网络的非线性SGD算法。
其他文献
按照笔者对中国文化"三段论"的划分,中国士人文化的时间跨度是汉魏六朝至唐宋。但如果从士人主体独立人格精神的角度看,魏晋与唐宋还是有很大差别的。魏晋士人人格精神的主潮是以个体为中心的主体独立人格;进入唐代之后,这个主潮被科举制度所瓦解,士人们又重新回到面向社会的群体人格当中去了。所以,追踪中国士人的个体独立人格,还应对魏晋士人的个体独立人格给予充分关注。
期刊
在曹氏父子中,曹丕应该是最难把握的一位。与才华横溢而又命运乖蹇的弟弟曹植相比,曹丕似乎显得才华不足却吉星高照;与世人皆知的"名为汉相,实为汉贼"的父亲曹操相比,曹丕的人格似乎并不那么容易定义。而在我看来,曹丕人格难以定义的主要原因是后人对其人格本色的挖掘和认知
期刊
随着信息化时代的到来,传感技术得到了空前的发展与应用,以满足人们日益增长的认知需求。与传统光学传感器相比,基于表面等离子体共振(Surface plasmon resonance,SPR)的光学传感器因其具有集成度好、灵敏度高和设计灵活等优点被广泛应用在医学诊断、生化传感等领域。本论文基于SPR理论通过时域有限差分法(Finite-Difference Time-Domain,FDTD)和有限元法
在仓储、超市和物流等场所的货物管理中,准确快捷的物品定位信息指示有利于高效率地存取货物或商品。目前对于定位后的物品指向问题,相应的优化解决方案较少,还需要依靠传统的方式,根据特定标记号进行指向,难以快速准确获取目标位置信息。本文将超宽带定位技术与光束灯控制技术相结合,利用现有的舞台光束灯定位指向,为用户提供直观而精确的货物位置信息,以提高寻找货物的效率。UWB定位技术可达厘米级的定位精度,工作在射
随着车辆增加和道路环境的复杂化,智能交通系统在提高行车效率和缓解交通拥堵问题上起到了重要作用。智能监控系统作为智能交通系统的关键一环,对监督车辆规范行驶具有重要意义。由于天气变化及车辆运动,导致智能监控系统抓拍的图像存在模糊现象。交通模糊图像复原已成为交通违规取证中亟需解决的难点,传统方法无法满足复杂交通图像的复原问题,本文以深度学习为基础,进行交通模糊图像复原算法的研究。主要工作如下:根据当前模
为了满足不同传输速率的协议要求,高速串行解串器(SERDES)等串行数据收发电路需要收发不同速率的数据,使得对收发器的带宽需求越来越大;另一方面,由于串行数据的抖动主要由片内高速时钟决定,随着数据收发速率越来越高,对采样时钟的要求也越来越高,更进一步提高了对采样时钟的性能要求。因此,对于SERDES应用的时钟源既需要输出较宽范围频率的采样时钟,也需要采样时钟具有较低的抖动。基于6Gbps串行信号发
随着我国工信部将5G通信频段开放,5G网络传输日渐渗透于人们生活的方方面面,5G通信频段的功率放大器(PA)引起了越多越多研究人员的研究兴趣。因国际局势变化和国内需求增长,应用于5G通信频段的功率放大器的设计、生产与制造显得尤为重要。5G网络传输时的信号频率比4G网络传输时的信号频率更高,信号波长更短,使得5G通信基站的信号覆盖半径更小,且高频信号在传输过程中损失会损失更多能量,即5G功率放大器必
良率是晶圆制造业非常重要的生产指标之一。晶圆测试中一些经典的缺陷类型在晶圆图中呈现圆、环、划线等基础图案,通过识别晶圆图中的主要图案有助于工程师追溯造成晶圆缺陷的根本原因。本研究针对快速、高效的分类晶圆图缺陷模式的问题,然而实际晶圆图数据集中某些类型数据的数量可能存在严重不足的现象。因此,本文使用深度卷积神经网络(DCNN)与迁移学习相结合的方法,实现对晶圆图9类缺陷模式的快速、有效分类。研究的主
现代社会对无人机的需求在持续增长,因为它能帮助人类完成一些困难或危险的任务,如农田监测、航空摄影测量、线路巡检等。其中,能在陌生环境中实现自主飞行任务的四旋翼无人机系统成为新的研究热点。虽然目前在传感器精度、同步定位与建图技术和路径规划技术等方面取得了不错的发展,但是在无人机自主导航技术方面还有待进一步的研究和改进。基于上述背景,本文对视觉惯性SLAM技术和路径规划技术进行了改进,设计了一套完整的
随着生活方式的改变,肥胖人数上升、运动量减少,几乎所有的国家出现的最常见的慢性病都包含糖尿病等基础疾病。因此制备出简单、高灵敏度、选择性好及稳定性好的葡萄糖传感器具有重大意义。由于酶葡萄糖传感器稳定性不好且制备工艺复杂,使得无酶葡萄糖传感器的研究受到更加广泛的关注。因纳米材料的特殊性质,用于制备无酶葡萄糖传感器,是当前的研究热点。本文以铜纳米粒子(CuNPs)、钴纳米粒子(CoNPs)、金纳米粒子