论文部分内容阅读
人工神经网络已经成为人工智能领域近年来最热门的研究方向之一,并成功地解决了机器人、工业、生物、医学和经济等领域许多实际问题。随着互联网及大数据时代的到来,神经网络所要处理的信息呈现爆发式增长,基于冯·诺依曼结构的计算机很难应对日益增长的数据处理要求。因此,建立能够进行实时数据处理与超大并行计算的神经网络硬件电路已成为迫切需求。忆阻交叉阵列所固有的并行计算及存算相融合的天然优势,为这一问题提供解决思路,忆阻神经网络研究得到学者的广泛关注。经过多年的发展,忆阻神经网络电路研究已经取得丰硕成果,并成功实现了图像处理,模式识别等应用,但存在如下两个问题值得关注:(1)网络的部分训练过程通常是通过线下系统实现的,需要借助计算机或者数字芯片进行相关辅助计算。(2)已有的设计大都没有给出完整的神经网络实现电路,不能在硬件上执行完整的在线学习过程。针对上述问题,本文研究围绕忆阻神经网络的全电路设计而展开,根据实物忆阻数据,构建相应的忆阻模型,设计忆阻突触与神经元电路,研究如何将算法引入到忆阻电路中,设计忆阻学习电路。最后根据神经网络基本理论,设计全电路忆阻神经网络,建立神经网络在线学习电路来解决图像识别,曲线拟合等应用问题。本文主要完成的工作和创新成果如下:(1)考虑到实际忆阻特性曲线的多样性,提出了漂移速度自适应忆阻模型。该模型可以拟合多种实物忆阻器件的阻变曲线及i-v特性曲线,拟合精度均大于94.5%。所提出的模型对连续激励与脉冲激励均有效,且利用可调参数能够对真实忆阻数据进行各种精细化拟合。(2)设计了电流和电压两种模式的忆阻突触和神经元电路。分别设计两种反向连接的双忆阻突触结构,可实现电流与电压突触权重乘法运算,通过调整忆阻阻值可得到正、零和负突触权值。基于CMOS-忆阻混合集成技术设计多种忆阻神经元电路,该结构可以实现并行编程,可应用于大规模神经网络集成,解决了传统交叉阵列不能全并行编程的缺点。(3)基于具有遗忘效应的STO二阶忆阻实验和仿真证明了triplet-STDP(Spike timing dependent plasticity,脉冲时间依赖可塑性)学习规律。构建了LIF(Leaky integrate and fire,泄露积分放电)神经元电路,可模拟生物神经元的时间、空间信息整合与泄露、激活输出;设计了triplet-STDP学习电路,再现生物突触前尖峰输入、局部梯度电位泄漏、输出动作电位产生以及根据STDP规则对突触权重进行修改全过程。(4)为了解决现有忆阻逻辑电路初始化问题,提出了一种具有自学习功能的通用忆阻逻辑电路,通过自学习即可自动获得不同的忆阻状态而无需初始化。此外,该电路通过一个可配置开关结构可执行多种类型的逻辑运算,包括布尔逻辑、蕴涵逻辑和随机组合逻辑。与以前的逻辑电路相比,所提出的电路是一种通用的逻辑结构,可处理不同的逻辑运算,且无需初始化,简化运算步骤以及加快运算速度。(5)针对当前忆阻神经网络全电路设计这一难点问题,首先建立两种忆阻自学习神经元电路,可在电路上执行LMS(Least mean square,最小均方误差)学习算法。然后,基于CMOS-忆阻混合集成设计了三种全电路的忆阻神经网络:感知器网络,RBF(Radial basis function,径向基函数)神经网络和多层神经网络,成功解决了图像识别,曲线拟合及异或运算等应用问题。相比现有忆阻神经网络电路,该设计所有运算均在电路上完成,而无需计算机辅助运算,提高运算速度。此外,在电路中执行在线学习能够实时更新忆阻权重,提高系统对忆阻变量及噪声的容忍性,增强应用鲁棒性与精度。(6)为了处理实时高效的图像复原任务,提出了一种忆阻连续Hopfield神经网络电路,该电路可通过并行的自组织运算来处理图像复原问题,将传统的图像复原处理从软件转移到硬件,加快处理速度。除了速度优势,仿真实验还证明电路实现的图像复原相比软件精度更高,对噪声及忆阻变量具有很好的容忍性。本文的研究成果为硬件实现在线学习算法及忆阻神经网络提供新的思路与借鉴,为硬件实现更大规模的忆阻神经网络电路奠定基础。此外,忆阻神经网络的全硬件实现可以加速神经网络运算,将为当前大数据时代提供硬件加速运算平台,为解决人工智能领域更复杂的应用问题带来新的希望。