基于忆阻的原位学习神经网络电路设计研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jialei2055000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来人工神经网络(Artificial Neural Network,ANN)的研究取得了重大进展,并广泛应用在图像处理、语音识别、自然语言处理、工业控制等领域,是人工智能的重要分支。随着社会步入大数据时代,ANN需要处理的数据越来越多,对计算设备的计算性能要求越来越高,而现有的基于冯·诺依曼架构的计算体系越来越难以应对这个挑战,因此亟需一种具有实时处理数据及大规模并行计算能力的新型计算架构。忆阻的出现,为这一问题的解决提供了契机。忆阻具有可塑性,非常适合用作神经网络突触,能够极大简化突触电路的设计,并且具有功耗低、存算一体以及易集成实现大规模并行计算等优点。本文首先基于忆阻特性,结合ANN算法,设计了一种适用于ANN的忆阻阵列,并提出相应的原位调整忆阻电导值的更新策略。原位学习可以使忆阻神经网络在训练过程中适应硬件电路的特性,具有更好的学习能力。进一步,基于忆阻阵列,设计了多种具有原位学习能力的ANN电路,并检验了它们在模式分类任务中的表现。本文主要完成的工作以及创新成果具体如下:设计了适用于构建忆阻神经网络电路的忆阻阵列,可以实现正、负和零权值,并通过设计电路结构和参数实现了多种非线性激活函数。提出基于“半电压选择法”及两步更新方式的原位学习策略,无需1T1M(One Transistor One Memristor)结构突触需要的控制端来控制忆阻电导值的写入,只需施加行和列电压即可并行更新忆阻电导值,适用于1M(One Memristor)、2M1R(Two Memristors One Resistor)等无晶体管控制端的忆阻突触构成的忆阻阵列。基于所提出的原位学习忆阻阵列,构建了基于忆阻的全连接层、卷积层、平均池化层,进而设计了两种基于忆阻的前馈神经网络电路,即忆阻多层感知机(Memristorbased Multi Layer Perceptron,MMLP)和忆阻卷积神经网络(Memristor-based Convolutional Neural Network,MCNN)。通过所提出的原位更新策略,实现了MMLP和MCNN的原位训练,解决了异位学习不能适应硬件电路特性以及一些原位学习方法不能并行更新忆阻电导值的问题。通过模式分类任务检验了MMLP和MCNN的有效性。设计了一种基于忆阻的循环神经网络(Recurrent Neural Network,RNN)电路,即忆阻长短时记忆(Memristor-based Long Short Term Memory,MLSTM)网络。MLSTM相比MMLP和MCNN,考虑了输入数据时间上的关联性,具有处理时序数据的能力。同样通过原位更新策略训练MLSTM。与已有的基于忆阻的LSTM电路相比,MLSTM电路设计更完整,学习能力更强。通过在模式分类数据集上的仿真实验,检验了MLSTM处理时序数据的有效性。设计了一种基于忆阻的模拟新大脑皮质的神经网络电路,即忆阻空间沉积池(Memris-based Spatial Pooler,MSP)网络。MSP通过竞争性Hebbian学习规则进行训练,虽然没有误差反向传播(Back Propagation,BP)算法精确,但执行速度快、电路实现简单且功耗低。所设计的MSP解决了以往空间沉积池(Spatial Pooler,SP)电路中存在的不能完整实现SP突触功能、并行性不够、没有学习电路的问题,并实现了原位学习及突触并行更新。通过统计指标及模式分类任务检验了MSP的有效性。最后对本文工作进行了总结,并对今后的工作提出研究展望。本文的研究结果可以为不同类型的忆阻神经网络电路提供设计研究参考。
其他文献
第一部分过表达LRIG3蛋白的胶质瘤细胞对血管内皮细胞生物学功能的影响的体外研究目的:探讨胶质瘤细胞在过表达LRIG3蛋白后,对血管内皮细胞迁移、微管结构形成、增殖能力的影响。方法:利用U87、U251胶质瘤细胞系,建立LRIG3蛋白稳定过表达组及空载体对照组。各组胶质瘤细胞LRIG3蛋白的过表达效率用Western blot进行验证。收集胶质瘤细胞培养基上清、制备相应的条件培养基。LRIG3蛋白
电机系统作为实现机电能量转换的关键部件,广泛应用于国民经济的各个领域,对于高性能高可靠性电机驱动系统的研究,已成为装备制造业高质量发展的关键。近年来,随着电力电子技术、自动控制技术的高速发展,现代电气传动已不再局限于传统的三相交流电机系统,在一些特殊的应用场合,电机驱动系统方面的技术革新不断涌现。相比于传统的三相交流电机系统,直流偏置型游标磁阻电机系统的相电流中除了交流电流分量外,还叠加了额外的直
声学超构材料是主要依赖结构设计来超越自然界声学材料的人工材料,可以实现包括声学隐身、亚波长成像、完美吸声、声学全息等非凡的声波操控功能。而柔性声学超构材料是对声学超构材料的重大革新。引入柔性材料,可以为声学超构材料附加实时可调节的操控性能,实现超构材料器件的低成本大规模制造,实现对曲面物体的共形贴附以及开发对人体友好的生物声学界面等。柔性声学超构材料的发展目前尚在起步阶段,基本的功能基元和序构方式
研究目的:上颌窦后鼻孔息肉(antrochoanal polyps,ACPs)的发病机制在很大程度上仍然存在未知。本研究的目的在于探究其炎症特点和组织重塑的特征。研究方法:我们通过运用免疫组织化学和免疫荧光的技术,比较了ACPs与双侧嗜酸粒细胞性鼻息肉(eosinophilic nasal polyps,Eos NPs)和非嗜酸粒细胞性鼻息肉(noneosinophilic nasal polyp
由创伤、肿瘤等原因导致的骨软骨组织缺损的治疗仍然是一个巨大的临床难题。尽管已有多种治疗骨软骨缺损的方法,但目前没有一种手术或治疗可促进骨软骨缺损的完全愈合。近年来,骨软骨组织工程移植物被认为是修复骨软骨缺损较有潜力的治疗策略。考虑到软骨及软骨下骨组织不同的生物学特性,开发模拟骨软骨组织梯度力学结构及功能的仿生生物活性支架十分必要。天然水凝胶如胶原蛋白(COL)是制备骨软骨生物支架的常用材料,但其力
第一部分 超声征象与不同类型甲状腺结节的恶性风险的关系研究目的:探讨在不同类型的甲状腺结节中,结节边界、纵横比、微钙化、位置及毗邻等多个超声危险征象与结节恶性风险的关系。方法:选取2016年6月至2019年12月期间于武汉同济医院行超声引导下细针穿刺细胞活检(fine-needle aspiration biopsy,FNAB)的2831例成人甲状腺结节资料进行回顾性分析,最终来自1636名患者的
目的:胶质母细胞瘤是颅内恶性程度最高、侵袭性最强的肿瘤。虽然目前采取手术联合放化疗能延长患者的生存时间,但5年生存率也仅达到9.8%,其中最重要的原因是血脑屏障与血瘤屏障限制了杀伤作用较好的化疗药进入颅内。所以解决血脑屏障的限制作用是治疗恶性脑胶质瘤的重要问题。基于嵌合抗原受体T细胞(CAR-T)的免疫疗法是一项新兴的抗肿瘤治疗手段,CAR-T细胞靶向性强、能透过血脑屏障,但受制于肿瘤的异质性和免
学位
胶质瘤是发病率最高的中枢神经系统恶性肿瘤,即使经过多学科协作,在准确的组织和分子病理诊断基础上,制定个体化的治疗方案,胶质瘤(尤其是高级别胶质瘤)复发率高、死亡率高和生存期短的临床困境仍未解决。因此,研究影响胶质瘤发生发展的关键分子和通路,寻找潜在的治疗靶点,具有重要的现实意义。诸多文献显示,HADHA在多种恶性肿瘤中的表达发生异常改变,与患者的预后关系密切,可作为某些肿瘤的预后标志物。但有关HA
目的:识别与注意缺陷多动障碍(attention deficit hyperactivity disorder,ADHD)发病风险有关的代谢型谷氨酸受体(metabotropic glutamate receptor,mGluR)基因的遗传变异,分析基因-环境交互作用对ADHD发病风险的影响,并探索与ADHD易感性有关遗传变异的生物学机制,为发现ADHD生物标志物提供新思路,为ADHD易感人群的早
同一肿瘤内存在着具有不同肿瘤生物学特性的细胞亚群,不同细胞亚群在肿瘤的发生、发展过程中扮演着不同的角色,这被称之为肿瘤细胞的异质性。不同的细胞亚群之间存在着多种多样的细胞间相互作用,包括相互竞争和相互协作。乏氧的癌细胞具有增强的转移能力。然而,目前尚不清楚乏氧的结直肠癌细胞是否会促进常氧癌细胞的转移。本研究在前期研究的基础上,在多种体外、体内乏氧模型中,进一步证实了结直肠癌中乏氧肿瘤细胞是通过旁分