基于忆阻器神经网络的权值映射与更新方法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:ISE7ENAK
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络作为当今最火热的研究领域,已经引起了工业界和学术界极大的研究兴趣,同时也产生了显著的社会影响。在视觉识别,自动驾驶,语音助手,游戏等不同的应用中,人工神经网络表现出的能力超过了人类。目前,常用的几种人工神经网络硬件计算单元有中央处理单元、图像处理单元、谷歌的张量处理单元等,这类加速器都是基于CMOS工艺制备的“冯诺依曼”架构数字计算单元,其特点是存储单元和计算单元分开。然而,随着信息技术的发展以及人工神经网络的结构加深,目前的人工神经网络计算系统无法满足日益增长的存储和带宽的需求。相比之下,基于神经形态计算架构的人工神经网络硬件平台由于具有存算一体的特性,普遍被研究者认为是最有希望替代传统人工神经网络架构的方案。进一步,忆阻器作为实现神经形态架构应用的首选器件,具有非易失、结构简单、功耗低、存储密度高、纳米级尺寸以及与CMOS工艺兼容等优点。然而,由于忆阻器的模拟特性,忆阻器人工神经网络的部署方案需要进行重新设计。因此,本文对忆阻器交叉阵列实现人工神经网络的部署方案进行了深入的研究,设计了一种基于离线学习的权重映射方法实现了权值在忆阻器中的映射,并成功的应用于忆阻器卷积神经网络的离线部署,同时,研究了器件电导变化特性对该权值部署方案的影响。进一步,设计了一种基于在线学习的权值更新方法对存储在忆阻器当中的权重进行更新,并成功的应用于人工神经网络的在线训练。同时,对该部署方案随器件电导变化的部分非理想特性的容忍性进行了研究。论文的主要工作如下:(1)详细介绍了四种忆阻器模型,分别是基于导电细丝机制的动态忆阻器模型、基于氧化物的忆阻器紧凑模型、基于离子浓度分布的忆阻器模型、电压阈值控制的通用模型。这四种忆阻器模型分别从随机阻变存储器的不同阻变原理特性进行建模。同时,用MATLAB对这四种忆阻器模型进行仿真实验并分析了它们的参数特性,为后续搭搭建基于忆阻器的人工神经网络提供了理论分析。(2)设计了一种基于离线学习的权重映射方法,实现了忆阻器人工神经网络的权重映射。并应用于卷积神经网络权重在忆阻器交叉阵列模型的离线部署。进一步,分别以上述四种忆阻器模型作为基础忆阻器模型,构建的忆阻器交叉阵列模型实现了卷积神经网络并成功应用于MNIST数据集的图像识别。通过比较和分析基于这四种忆阻器模型构建的卷积神经网络对MNIST数据集的测试结果,研究器件特性对该部署方案的影响。(3)设计了一种基于在线学习的权值更新方法对忆阻器神经网络的权值进行更新。通过设置阈值,限制人工神经网络反向传播中梯度更新,当梯度积累超过阈值时释放脉冲,更新电压阈值控制模型的忆阻器交叉阵列中器件电导。运用该部署方案应用于多层感知机和卷积神经网络在忆阻器交叉阵中的在线训练,通过MNIST数据集图像识别的测试,证明了该权值更新方法具有很好的效果。通过设置电压阈值控制模型的忆阻器参数改变电导变化曲线的部分特性,例如线性度,对称性,中间电导状态数量,研究了该部署方案对器件部分非理想特性的容忍性。实验证明了该部署方案对忆阻器器件的非理想特性具有很好的容忍度。
其他文献
无线通信系统中,信道噪声会导致信息传输错误。因此,需要采用有效的信道编码方案对信息进行检错和纠错以提高传输的可靠性。在信道编码方案中,低密度奇偶校验(Low-Density Parity-Check,LDPC)码作为一种能逼近香农极限的码型,深受学者们青睐。相较于二元LDPC码,多元LDPC码在纠错及抗突发错误方面表现更为优异,近些年已成为信道编码领域的研究重点之一。尽管多元LDPC码在很多方面有
学位
在实际的工程系统中,存在多种约束限制,饱和现象是其中最为常见的一种,忽略系统中出现的饱和现象可能会使系统性能下降甚至不稳定。对饱和系统的研究由来已久,但大多局限于离散或者连续的系统,关于脉冲系统这类混杂系统饱和的研究成果较少。此外在工业实践中,系统难免会受到干扰,所以对受到外部干扰、参数不确定性或者时滞等不稳定因素影响的系统进行鲁棒镇定分析具有十分重要的现实价值。本文将脉冲控制系统作为研究对象,利
学位
自适应滤波(AF,adaptive filter)器因能够根据外部未知环境的变化,自适应调整系统参数以匹配系统的特性,在信号处理、目标追踪与定位、时间序列预测等领域得到广泛应用。在实际应用场景中,因真实环境中所需处理的数据往往具备非线性的特征,线性模型的AF在处理此类非线性问题时表现不佳。核自适应滤波(KAF,kernel adaptive filter)算法通过将核方法引入AF,成为能够处理非线
学位
非凸优化问题作为当前优化理论的研究热点之一,广泛地存在于机器学习、智能电网、无线传感器网络、模式识别等应用场景之中,在当下受到了密切的关注。虽然近年来学者们提出了大量的算法用于解决非凸优化问题,但是这些算法大多存在参数条件较多且复杂、全局寻优能力较差的问题,且在连续时间算法上的研究较少,这极大地限制了非凸优化算法的应用。神经动力学算法作为一种连续时间算法,具有并行计算、便于硬件实现、易于理论分析等
学位
随着大数据产业的不断推进与发展,针对数据资料进行知识发现的重要性与日俱增。海量数据为诸多行业和领域带来“维数福音”的同时,大数据本身所具有的复杂多样性、不确定性以及模糊性等系列问题逐渐显露,使得传统意义下的数据挖掘与知识发现面临诸多挑战。如何从庞杂的数据中发掘有价值的信息与知识显得异常重要。近年来,粒计算理论逐步成为大数据和人工智能领域中一项重要的信息处理工具,通过粒化复杂问题到多个简单的子块,可
学位
人工神经元作为人工神经网络中信息处理的基本单元,在人工神经网络的应用中起着关键的作用。众所周知,人工神经元是通过模拟生物神经元而提出的。研究生物神经元的模型及动力学行为能够帮助我们更好地设计人工神经元。为了研究生物神经元,许多神经元数学模型被提出。这些神经元数学模型可以模拟生物神经元丰富的动力学行为特性,如周期性簇放电、混沌簇放电、周期性尖峰放电和混沌尖峰放电等。研究表明,神经元的放电特性与神经元
学位
随着无线移动通信技术的快速发展,呈爆炸性增长的移动数据量对频谱效率的要求不断提高,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)凭借高频谱效率和大规模接入能力,成为了第五代通信系统的关键技术。尤其是在具有大规模接入需求的无线传感器网络中,NOMA技术可以发挥重要作用。然而,另一方面,无线传感器设备电池容量有限的问题也逐渐凸显,如何持续可靠地为设备提供能量成
学位
近年来,随着互联网和大数据技术的发展,需要计算处理的数据量急剧攀升。而摩尔定律发展的放缓,以及冯诺依曼架构中的“内存墙”等问题,导致传统电子计算解决方案的高能耗,低速率问题越来越显著。另一方面,人类在集成光学领域的技术发展迅速,这为开发新型的光子神经元,并进一步发展光子神经网络系统提供了一个新机会和技术可能。相比于生物神经网络,光子神经网络的运行速度可以快百万倍。在目前的学术研究中,多种光子神经网
学位
面部表情作为一种与生俱来的交流方式,传递着丰富的情感信息。心理学研究表明,除了常见的宏表情,还有一种真实度更高且不受自主控制的面部表情——微表情。微表情是人在高风险、高压力的环境下抑制其真实情绪失败时发生的即时非自愿的面部动作。作为一种自发式的情感表达,微表情能反映人的真实情绪,因此在谎言识别、面部情绪表达障碍诊疗等领域具有重要意义。长视频微表情自动检测,是利用计算机技术从长视频中定位出微表情的发
学位
利用基于高光谱成像(Hyperspectral Imaging,HSI)技术提取的面部组织氧饱和度(Tissue Oxygen Saturation,StO2)来检测人类心理与生理压力,是一种利用生理信号的非接触式压力识别技术,是情感计算领域的一项重要研究内容。高光谱图像能够提供丰富的光谱、图像信息,但这也会造成数据冗余问题。正确处理高光谱图像中的高维数据是当前进行实时压力检测的关键。本文以实现S
学位