基于脉冲神经网络的类脑学习算法及其应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:huanyu2121
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着人工智能的不断发展,神经科学在人工智能中的作用也日渐凸显,类脑计算、类脑智能等研究也越来越受到关注。神经科学揭示的生物视觉神经机制,为模拟生物视觉的信息处理特性,研究类脑学习算法提供了强有力的生物依据。当前,深度学习等技术取得了巨大的突破,但是其学习原理和特性仍然与生物神经网络有较大差异。脉冲神经网络(Spiking Neural Network,SNN)被认为是“第三代人工神经网络模型”,其信号的编码与传递都与生物神经系统更加接近。因此本文构建了层次性的脉冲神经网络模型,分别对比了无监督STDP(Spike-Timing Dependent Plasticity)学习规则、奖励-惩罚信号调制的STDP规则以及监督预训练参数转换三种算法在SNN网络上的学习效果。论文的主要工作和创新如下:(1)提出了基于无监督STDP规则的层次性SNN网络模型,模拟了腹侧通路中视觉信息特征提取和识别分类的过程。利用脉冲卷积和最大池化操作并结合侧抑制连接,实现了皮层的层次性结构与“胜者为王”的竞争机制,使脉冲神经元能够提取具有特异性的视觉特征。借鉴生物内稳态机制,利用自适应阈值和权值缩放两种方法优化神经元的脉冲频率和突触权值,解决了SNN网络中的“稳定性与可塑性困境”。在MNIST和ETH-80数据集上的分类精度分别达到了97.58%和82.5%,超过了其它无监督规则训练的SNN网络。(2)借鉴生物大脑中多巴胺等神经调节物质的奖励作用,在SNN网络中实现了基于RM-STDP(Reward-Modulated STDP)规则和误差校正膜电位的两种奖励机制。通过引入奖励和惩罚信号,全局地控制STDP规则对权值的修正方向,使网络中被奖励(惩罚)的脉冲活动得到增强(减弱),网络权值朝着输出误差减小的方向变化,改善了无监督STDP规则的局限性,提升了SNN网络的分类性能。在MNIST和ETH-80数据集上分类精度达到了98.0%和88.4%,高于无监督STDP训练的SNN网络。(3)结合ANN网络与SNN网络的优点,实现了基于监督预训练参数转换的SNN训练方法,并利用内稳态机制补偿转换后脉冲神经元的累计误差。首先利用误差反传算法训练一个ANN网络,然后将规范化处理后的网络参数转换到相同结构的SNN网络中,实现了深层SNN网络的有效训练。针对转换后SNN网络出现的神经元脉冲频率减小等问题,利用权值缩放和自适应阈值两种内稳态方法有效弥补了深层神经元的累积误差,加快了SNN网络的仿真收敛速度,减小了模型转换的性能损失。
其他文献
深基坑工程是一个复杂的系统工程。在地下水水位埋深较浅的地区进行基坑开挖通常需要进行基坑降水,工程降水不仅可以使基坑处于干燥的施工环境中,而且可以通过降水增大土体的强度。而开挖降水带来的渗流也会对基坑支护结构的受力情况带来一定的影响。为了系统分析在考虑渗流条件下支护结构的受力特性以及变形稳定发展形式,本文以南昌某深基坑实例为依托,利用有限元软件对基坑降水开挖的工况进行模拟分析。主要研究内容如下:首先
通过对齐齐哈尔市近百年来气温变化的多时间尺度结构和局部化特征的分析,得出齐齐哈尔市的气温不仅存在准2a、4a、4~6a和8a左右的年际尺度的周期性变化,也存在40~60a的年代际尺
随着社会发展和技术的进步,人们在工作和生活上对于电子产品的需求越来越多,企业间的竞争也逐步加剧。对于企业而言,通过新产品开发项目不断更新产品线,是在市场上能够继续发
应用大量的钻井取心分析测试、薄片、X-衍射等资料,对渤海湾盆地东营凹陷古近系碎屑岩储层成岩序列和孔隙演化进行了研究。东营凹陷古近系埋深大于3000m的碎屑岩储层可划分为
中华锯齿新米虾(Neocaridina denticulata sinensis),俗称樱花虾,属于节肢动物门(Arthropoda)、甲壳纲(Crustacea)、十足目(Decapoda)、匙指虾科(Atyidae)、新米虾属(Neocari
通过对岩石的铸体薄片、扫描电镜、压汞及物性等资料分析认为:塔里木盆地群6井区泥盆系东河塘组下段砂岩中粘土矿物薄膜的成因可分为原生式和自生式。其中以自生式为主。粘士
2019年以来,荆州采油厂针对红花套与上层系渔洋组存在的构造矛盾,与勘探开发研究院协力合作,开展精细构造解释和描述工作,积极推进江陵凹陷增储上产工作。荆州采油厂根据红花
面雨量的和预报,适合防汛、抗洪需要,并可能成为我国气象和水文两大学科相结合的纽带。提出了计算面雨量的三角形法,不仅有其明显优点,且易于实现业务自动化;进一步探讨了面雨量在
导致2001年5月云南5次强降水和5月降水特多的原因,主要是由于500hPa青藏高压东南侧多次生成的横切变与副高外围西南暖湿气流和地面弱冷空气影响所致.伊朗高压快速东移上青藏
中职院校学生社团发展迅速,社团种类繁多,活动丰富多彩,已成为一种文化现象,对于推进素质教育,为中职生提供一个展示自我、树立自信、磨炼身心、提高就业创新能力的平台作用